2013-03-16
hadoop云计算平台搭建笔记1--废话
本周一....
磊哥将我们领到一堆报废电脑旁说..
GGLG大数据处理中心今天就成立了...
然后我和寻哥就在这堆破烂中寻找可以运行的机子...
各种手术,各种组合.....
2004年的主机,256*2的内存,P4处理器.....
由于机器太老,不寒碜的装上ubuntu server 8.04作为DataNode...
而NameNode/master,那台唯一不寒碜的主机......
尼玛到现在还被锁锁上的,还原卡都取不出来...
搞笑的是,好不容易花4天时间装好系统,尼玛又崩了3台,不是网卡问题,就是莫名其妙的问题....
这尼玛4天,还是为了能给这蛋疼的主机装上能运行的系统...

好吧...硬件基础平台太寒酸了....
至于软件平台,hadoop还算很给力,我们选择了最新的稳定版本1.1.2...
这两天我在本地用虚拟机创建了一个ubuntu12.04做为NameNode/master...
2个ubuntu server 8.04做为DataNode/slaves

搭建开始费力的是在没网的情况作ubuntu8.04的离线更新源....
剩下的事情就看对LINUX的了解程度了..
按照教程,装上SSH,JDK..
最后在master上装上hadoop..
再配置好相关信息,建立好数据目录..
同步到各个节点..
最后运行就可以了...
上面的完全是废话...
等哪天有时间了再详细写给不了解LINUX和HADOOP搭建的童鞋..
其实总结两点,遇见错误,不要盲目上网找答案,先看日志文件logs...
再分析..
最后附上本地hadoop平台截图...
Master/NameNode  运行了3个进程...我把JobTracker也放在master上面运行了....



DataNode 运行了两个守护进程 DataNode 和 TaskTracker


BreezeDust    发表于  23:05:51    Tag: 技术应用
更多
...! - -!
Rube  |  发表于  2013-03-21    14:38:11      
姓名
Copyright (C) 2011-now  BreezeDust(Yang Li), All Rights Reserved  E-mail:BreezeDust@qq.com