V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
frankkai
V2EX  ›  问与答

Linux 在大数据开发中扮演的角色是什么,掌握程度要求多少?

  •  
  •   frankkai · 2017-07-12 09:31:21 +08:00 · 5793 次点击
    这是一个创建于 2727 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Linux 小白一只,昨晚刚刚在虚拟机上装了 Ubuntu14.04 。 很想知道 Linux 和 Windows 系统本质上有什么区别,除了 Windows 是游戏机这个梗以外。 目前我只知道 Hadoop 集群是建立在 Linux 系统之上的,但是不明白: Linux 在大数据开发中扮演的角色是什么,需要对其掌握到什么程度? 有没有前辈指点指点

    26 条回复    2017-07-13 11:22:03 +08:00
    xiaobai987
        1
    xiaobai987  
       2017-07-12 09:41:32 +08:00
    Linux 开源、稳定性好,可不装桌面程序,常年不关机。同新手。
    Rice
        2
    Rice  
       2017-07-12 09:44:55 +08:00
    基础设施
    frankkai
        3
    frankkai  
    OP
       2017-07-12 09:54:21 +08:00
    @xiaobai987 我直接装的 desktop...不装桌面的是啥
    frankkai
        4
    frankkai  
    OP
       2017-07-12 09:54:34 +08:00
    @Rice 什么基础设施呢
    yunkchen
        5
    yunkchen  
       2017-07-12 10:01:53 +08:00   ❤️ 1
    大数据的分布式集群( Hadoop,Spark )都是搭建在多台 Linux 系统上,对集群的执行命令都是在 Linux 终端窗口输入的;
    楼主可以尝试自己搭建一个 hadoop 集群体验一下。
    可以参考: http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html
    Rice
        6
    Rice  
       2017-07-12 10:01:53 +08:00
    @frankkai #3 你学过 java 么?几年经验?
    xiaobai987
        7
    xiaobai987  
       2017-07-12 10:03:17 +08:00
    @frankkai 纯命令行啊
    frankkai
        8
    frankkai  
    OP
       2017-07-12 10:11:08 +08:00
    @xiaobai987 iso 文件名是什么,我知道是终端命令行...
    frankkai
        9
    frankkai  
    OP
       2017-07-12 10:12:18 +08:00
    @Rice mei 在学校学过一些,应届生
    frankkai
        10
    frankkai  
    OP
       2017-07-12 10:13:09 +08:00
    @yunkchen 手动感谢
    Rice
        11
    Rice  
       2017-07-12 10:14:39 +08:00 via iPhone   ❤️ 1
    @frankkai 我觉得楼主还是做几年 JAVA 后台在研究大数据吧,你基础知识不牢固,要不就考研。
    frankkai
        12
    frankkai  
    OP
       2017-07-12 10:17:56 +08:00
    @Rice 谢谢前辈指点~
    jason2017
        13
    jason2017  
       2017-07-12 10:34:53 +08:00   ❤️ 1
    需要掌握到什么程度呢?
    首先,把基础命令学会了,可以参考鸟哥私房菜,基础部分,了解下 linux 系统的运行原理。
    重点几部分:用户权限、环境变量的配置、vim 命令、yum (或者 apt-get、根据不同开源版本)、ps、netstat、grep
    这些基本掌握大概需要一个星期,然后你再去鼓捣 hadoop 会比较好。先装单机的,后面真正分布式的,你还要学会 ssh 证书登陆的配置、scp 等命令。
    frankkai
        14
    frankkai  
    OP
       2017-07-12 10:35:15 +08:00
    @xiaobai987 我知道了,可以用 ctrl+alt+f1 切换的到命令行
    Em5O7B1JGfjQnBry
        15
    Em5O7B1JGfjQnBry  
       2017-07-12 12:53:48 +08:00 via Android
    装 Ubuntu14.04 是为了考古么
    albertofwb
        16
    albertofwb  
       2017-07-12 12:58:18 +08:00 via Android
    @svenFeng 话不能这么说,现在装 win7 的也大有人在
    mooncakejs
        17
    mooncakejs  
       2017-07-12 13:04:59 +08:00
    我觉得未来就是跑 docker 的母鸡
    v2dead
        18
    v2dead  
       2017-07-12 14:09:22 +08:00   ❤️ 1
    你都想知道 linux 和 windows 有什么本质区别了,为什么不去看看操作系统这本书呢。。。
    windows 和 linux 都只是操作系统而已,本身只是为了管理内存,调度进程,处理网络协议栈这些乱七八糟事物,要说区别可能就是:一个开源,一个闭源并且有非常明显的购买成本。这当然会导致一些外部的生态环境的区别,很多开源的软件第一优先考虑的肯定是 linux 平台嘛。
    不过要是微软自己出大数据平台构建方案,我觉得也会有不少公司跟进的,因为基于 linux 开源的平台后面的隐性成本很多时候都超过 windows 的直接购买成本的。
    不过像大数据这种很可能以后都是以服务形式提供,其实你学不学 linux,可能在未来几年使用大数据完全没什么影响。数据就是数据,本身就是和平台无关的。
    rwecho
        19
    rwecho  
       2017-07-12 15:00:19 +08:00
    自带 python
    e1eph4nt
        20
    e1eph4nt  
       2017-07-12 15:05:18 +08:00
    骗回复的吧。。。你要是一开始就不知道,在这儿问也问不出来。。。
    frankkai
        21
    frankkai  
    OP
       2017-07-12 17:44:28 +08:00
    @e1eph4nt 不知道才问啊,有什么问题吗?
    frankkai
        22
    frankkai  
    OP
       2017-07-12 17:45:52 +08:00
    那我赶紧下一个 16.04...
    frankkai
        23
    frankkai  
    OP
       2017-07-12 17:48:04 +08:00
    @v2dead 谢谢你的回答,操作系统的话,现在正在看...
    mritd
        24
    mritd  
       2017-07-12 20:02:07 +08:00 via iPhone
    @mooncakejs 哈哈 不过有些东西还是没法 docker 化的
    mooncakejs
        25
    mooncakejs  
       2017-07-12 20:06:14 +08:00
    @mritd 当然没法完全取代,但是结果就是 linux 运维人员大大减少呗。
    e1eph4nt
        26
    e1eph4nt  
       2017-07-13 11:22:03 +08:00
    @frankkai 没问题,请继续吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2668 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:48 · PVG 15:48 · LAX 23:48 · JFK 02:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.