Apache Hadoop

본 토픽은 현재 준비중입니다. 공동공부에 참여하시면 완성 되었을 때 알려드립니다.

Hadoop Install & test

Apache / Java 가 설치 되어있으며,

Path 설정을 완료한 상태를 필요로 한다.

https://opentutorials.org/module/1175/7831

 

 

a. ROOT폴더로 이동 및 Hadoop 셋팅

   cd   

 

   wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz   

Hadoop 다운로드 후,

 

   tar xvfz hadoop-1.0.3.tar.gz   

압축을 풀어준다.

 

 

그리고 Path 설정

 

Path

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
 
export CLASSPATH=/home/dbeorud:/usr/lib/jvm/java-1.7.0-openjdk-amd64/lib:/usr/share/tomcat7/lib/servlet-api.jar
 
export CATALINA_HOME=/usr/share/tomcat7
 
export HADOOP_HOME=/home/dbeorud/hadoop-1.0.3
 
export PATH=$PATH:$HADOOP_HOME/bin
 
 
최하단 Path설정은 반드시 확인 후 없다면 추가 !
 
 
 
 
source .bashrc
또는  sorce .profile
 
 
 
Path 확인 !
 
   echo $HADOOP_HOME   
 
 
 
 
 
/home/ROOT/HADOOP-1.3.0/conf
경로에서
 
 
mapred-site.xml
hdfs-site.xml
core-site.xml
 
3개의 xml 파일을 확인 후,
각각의 파일안의 
 
 
 
<configuration>
( 공백 )
</configuration>
 
 
 
configuration 태그 내의 공백 확인 !
 
 
 
   cd $HADOOP_HOME   
 
   hadoop jar hadoop-examples-1.0.3.jar wordcount README.txt ~/wordcount-output   
 
 
 
에러가 없이 실행이 된다면, 
 
 
 
ROOT폴더에서
 
   ls -al ~   
 
wordcount-output 폴더가 있는지 확인 한다.
 
 
/ROOT/wordcount-output/part-r-00000
파일이 생성 됐는지 확인한다.
 
 
 
   sudo nano part-r-00000   
 
결과가 잘 저장 되었는지 확인 !
 
 
 
 
 
 
 
 

댓글

댓글 본문
버전 관리
원빈
현재 버전
선택 버전
graphittie 자세히 보기