我很有幸的加入了开源社区,成为其中的一员。在这段时间的培训中我学到了很多,不仅锻炼了我的创新精神,更重要的是让我对开源有了更深入的了解。
这段时间虽然不长,但是让我从之前对开源的一无所知,到现在的有所了解,我觉得我很充实。我学到了很多知识,开阔了视野,增进了与他人的团队合作。我很高兴能加入开源,学习LINUX等知识。
那我就对我所接受的其中一个任务做一个总结吧。
在导师lea的指导下,我接受了hadoop安装配置的任务,虽然是第一次接触hadoop,但是经过各个途径的查找,让我对hadoop有了更深入的了解。
在安装配置Hadoop之前需要先配置好环境要求。①安装好Fedora,默认情况下sshd服务是启动的,可以输入命令servicesshdstatus查一下;②建立ssh无密码登录;③关闭防火墙serviceiptablesstop;④安装jdk1.6(确保几台机子的java环境一样)。
配置好环境之后,开始安装hadoop。下载hadoop软件包(hadoop-0.20.2.tar.gz)并安装,用命令tarxzvfhadoop-0.20.2.tar.gz,注意把hadoop的安装路径添加到/etc/profile中。
接下来要配置hadoop,我一直觉得配置是最艰巨最重要的。
1) 配置Java环境
[cuijj@station1~]$vimhadoop-0.20.2/conf/hadoop-env.sh
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
2) 配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
[cuijj@station1~]$vimhadoop-0.20.2/conf/core-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/mapred-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/hdfs-site.xml
3) 将NameNode上拷贝完整的hadoop到DataNode上
4) 配置NameNode上的conf/masters和conf/slaves
masters:
192.168.128.11
Slaves:
192.168.128.22
192.168.128.33
再接下来要运行hadoop,运行workcount.java程序。
1) 格式化文件系统
[cuijj@station1hadoop-0.20.2]$hadoopnamenode-format
2) 启动hadoop
[cuijj@station1hadoop-0.20.2]$bin/start-all.sh
3) 用jps命令查看进程,NameNode上的结果如下:
4) 查看集群状态
[cuijj@station1hadoop-0.20.2]$hadoopdfsadmin-report
5) 用hadood的web方式查
[cuijj@station1hadoop-0.20.2]$linkshttp://192.168.128.11:50070
6) 先在本地磁盘建立两个文件file01和file02
[cuijj@station1~]$echo"Hellocuijjbyecuijj">file01
[cuijj@station1~]$echo"HelloHadoopGoodbyeHadoop">file02
7) 在hdfs中建立一个input目录
[cuijj@station1~]$hadoopdfs-mkdirinput
8)将file01和file02拷贝到hdfs的input目录下
[cuijj@station1~]$hadoopdfs-copyFromLocal/home/cuijj/file0*input
9) 查看hdfs中有没有input目录
[cuijj@station1~]$hadoopdfs-Is
10)查看input目录下有没有复制成功file01和file02
最后执行wordcount(确保hdfs上没有output目录),查看结果。
[cuijj@station1hadoop-0.20.2]$hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput
之上是我对hadoop配置、安装和执行的理解。在了解的过程中,我有许多不明白的地
方,经过对老师的请教还有和其他同学的讨论,终于让我完成了这个任务。
通过学习这个任务,让我理解了开源的强大,也让我更加喜欢探索开源,开源里面所包含的知识是我们所不能够想象的。在开源社区的培训里,开源激发了我的学习兴趣,培养了我的创新思维。在以后的时间里,我会一直学习开源文化的,相信会有更多的人来参与开源、学习开源的。
很荣幸开源还有学校给我这个平台,让我学习更多的知识,给了我们更好的就业渠道。我相信未来是属于开源的。
想成为导师,你也可以!点击www.lupa.cn ,加入LUPA人才芯片工程!