我的名字叫hadoop

发布日期:2019-08-01
   第一回 新入环境

  我的名字是hadoop,我一出生我的爸爸雅虎就给我取了这样一个名字:hadoop,我也不知道为什么叫这个名字刚出生没多久雅虎爸爸就把我领进一个黑暗的屋子里面屋里堆满了黑色的箱子里面出奇的冷.

我一脸懵懂“爸爸,这是哪里?” 

  “不要着急,马上你就会明白了,听爸爸的话进去之后要好好做事.”

  爸爸把我送到房间尽头的楼梯旁跟我说:"进去吧爸爸回家了在外面好好闯荡哈吃亏是福爸爸在家等你"说完爸爸轻轻地走了.我发呆望着爸爸.

  正当我心中还念念不忘爸爸的时候眼神无意中滑到了楼梯旁边我看着旁边破旧的楼梯心想这么破的楼梯也没个人修修楼梯上面挂着一个破旧的牌子上面写着四个字母"sftp".这到底是什么地方我心中念叨着.

  "hadoop 快进 磨蹭什么玩意"只听见一个凶神恶煞的门卫怒吼道.

     什么? hadoop? 不就是我吗我赶紧顺着楼梯上了楼上的房间.

  "磨蹭什么玩意这么多人就等你呢"旁边一个人一脸不耐烦地看着我我没敢耽误赶紧走了进去看样子那么多人都排着队呢我紧挨着他们他们和我一样胸前都挂着牌子我仔细看着他们每个人身上牌子"hive""flume""sqoop""azkaban"等等等.看半天没看出什么所以然来.

  "兄弟咱们在这排队是要干什么呀?"我轻声问着前面叫flume的兄弟.

  "还能干什么看见那一堆堆的log数据没一会都是你要处理的"兄弟答道

  我看着那堆积如山的数据不寒而栗忽然我耳边回响起起爸爸时常和朋友谈起的数据存储数据计算等等关于数据的事情.难道我来就是处理这些数据的嘛.

  很快就轮到我了我被一个粗胖的大汉拿着胶带把我打包成一个大箱子扔进了一个叫centos的地方进去之后我从箱子里出来观察着周围的光电闪烁我看里面一个个人忙得手忙脚乱他在里面手舞足蹈挥舞着指挥棒就像一个音乐指挥家一样我走近了瞅见了他身上的牌子上面金光闪闪地写着CPU三个大字母原来他是爸爸常跟我提起的中央处理器忽然他指着我说:"hadoop你过来把这一堆数据处理了完不成马上把你kill掉"

  第二回 暂露头脚

  接收到CPU的命令以后我一脸茫然这么多数据我怎么可能干得完难道只能等着被干掉?旁边挂着flume牌子的大哥看出了我的困惑低声对我说:"这么多数据你搞不定的你必须把自己复制几份在另几个centos服务器上面你们几个一起干活你去问centos服务器的主人要另外几台服务器的账号密码来传输备份"

  是的看来只能这样了但是那么多的hadoop在不同的服务器上面总要有一个来进行管理吧不然干起活来岂不乱套?谁管理呢?君临天下舍我其谁就我吧

  我思索着我瞅着自己身上的三个组件:

  第一个是存储文件的hdfs组件

  第二个是调度资源的yarn组件

  第三个是计算数据的mapreduce组件

  hdfs文件系统角色需要有一个管理者化名namenode专门总体管理各个服务器上面数据吧其他服务器上面的就叫datanode专门存储数据我做namenode其他datanode服从我的管理.

    yarn资源管理角色需要一个管理者化名resourcemanager专门管理总资源其他服务器上面资源管理的化名nodemanager我做resourcemanager其他nodemananger服从我的的管理.

    对于mapreduce数据计算这一块就一干粗活的就让他服从nodemanger安排吧我就做总司令.

    哈哈角色都安排好了此刻我洋洋得意了忽然想起一个问题了怎么进行联系呢我这个管理的总司令的命令怎么下发呢大家都在不同的服务器上面呀我经过一番思索觉得我可以用HTTP或者RPC

    怎么选择呢?HTTP? HTTP协议是在传输层协议TCP之上的而RPC就是基于传输层协议TCP的很明显RPC更底层那也就是说用RPC更快OK就用RPC联系.

      小hadoop准备工作完毕..

欢迎您的阅读本人微信公众号 "星际互联网中心" 以及 "欢乐的马小纪"欢迎关注