Apache Hadoop

본 토픽은 현재 준비중입니다. 공동공부에 참여하시면 완성 되었을 때 알려드립니다.

환경변수 설정 및 SSH 자동로그인

a. Path 설정

/home/ROOT/hadoop-1.0.3/conf/hadoop-env.sh 에서

JAVA_HOME Path 설정을 해 준다.

 

하둡을 실행할 때 환경 변수들을 설정 하는 역할을 하기때문에 중요한 작업 !

 

 

 

 

 

b. ssh 자동 로그인 설정

   sudo nano hadoop-env.sh   

 

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64

 

기존 코드는 주석처리가 되어있으며, 경로가 틀릴 수 있다.

주석을 제거해주고 자신의 JAVA설치 경로를 수정 해 준다.

 

 

 

SSH 자동로그인을 위한 공개키와 비밀키 설정하기 !

의사 분산 모드일 경우, 하둡은 데몬들이 각각 다른 서버에 있을 경우를 생각하여,

각서버들의 SSH(Secure Shell) 로그인을 수행하기 때문에 사용자가 번거로울 수 있다.

그렇기 때문에 공개키 인증방식(Public Key Authentication)을 사용하여

공개키를 추가해 주자 !

 

 

 

 

/home/ROOT/hadoop-1.0.3/conf/ 경로에서

   ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa   

 

아래와 비슷한 코드가 나온는 것을 확인 !

 

 

   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys   

 

ssh-keygen을 이용하여 한쌍의 공개키와 비밀키를 생성

공개키는 ~/.ssh/id_dsa.pub이며,

비밀키는 ~/.ssh/id_dsa가 된다.

 

그리고 SSH자동 로그인 하고 싶은 시스템의 파일 뒷부분에

~/.ssh/authorized_keys

를 추가 하면,

다음 부터 Password를 입력하지 않아도 자동으로 로그인 하게 된다.

 

 

 

성공 적으로 수행 하였다면

테스트를 한다.

 

   ssh localhost   

 

'yes'

 

 

Password없이 로그인이 잘 된다면 성공 !

 

 

 

/home/ROOT/hadoop-1.0.3 에서

   hadoop namenode -format   

 

 

   start-all.sh   

 

   jps   

 

6개가 뜬다면 성공 !

 

댓글

댓글 본문
버전 관리
원빈
현재 버전
선택 버전
graphittie 자세히 보기