본문 바로가기

Computer Science/Hadoop

hadoop 2.6.0 setting (v0.1) 1. hdfs-site.xml 관련 hadoop doc : http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml - namenode, datanode 의 tmp dir를 설정할 수 있다. 1) namenode, datanode 의 tmp dir 설정. 원하는 위치에 folder를 생성한다. mkdir /원하는/위치chmod 750 /원하는/위치chown -R 사용자명:사용자그룹 /원하는위치 [in hdfs-site.xml] dfs.namenode.name.dir/사용자가/원하는/tmp/dir dfs.datanode.data.dir/사용자가/원하는/tmp/dir (data, namenode 의 tmp dir.. 더보기
하둡 2.6.0 파일 위치 hadoop-env.sh설치위치/etc/hadoop 더보기
하둡 환경변수 등록 1. sudo vi ~/.bashrc 2. HADOOP_HOME=[하둡설치위치]PATH=$HADOOP_HOME:bin/$PATHJAVA_HOME=[자바설치위치]export PATHexport JAVA_HOME 3.source ~/.bashrc 더보기
하둡 2.6.0 예제 파일 실행하기 독자모드 설치 후 설치 확인을 위해 예제파일을 실행해 보았습니다. 예제파일은 '~/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples~.jar'입니다. 커맨드창에서 hadoop jar '예제파일'만 입력하면, 해당 jar파일에서 실행 가능한 여러가지 예제가 있습니다. wordcount, join, wordmean등등~ 이제 예제프로그램을 실행시켜보겠습니다. hadoop jar '예제파일' '실행하고자 하는 프로그램 명' '매개변수' '결과물을 출력할 위치' ex) wordcount의 경우는hadoop jar hadoop-2.6.0/share/hadoop/mapreduce/~~.kar wordcount NOTICE.TXT '원하는 아웃풋의 위치' .. 더보기
install hadoop in mac os 하둡을 배워보고자 하는데 블로그에서 정보 얻기가 어려워메모를 남겨둔다.한번 얼떨결에 되더라도 나중에 다시 할때 까먹으므로.... 0. 하둡 파일을 다운받아서 압축을 푼다. 1. 자바의 환경변수를 설정해야 한다. 1) export JAVA_HOME = $(/user/libexec/java_home) 2) source ~/.bash_profile 3) terminal 재부팅 2. 하둡의 경로 설정 1) terminal 2) vi ~/.bash_profile 3) export HADOOP_PREFIX=/하둡/압축을/푼/폴더를/원하는/작업폴더에/이동시킨 후/의 경로 4) export path=${HADOOP_PREFIX}: ~!##@$YSAERT% 5) vi 끄고 6) source ~/.bash_profiile.. 더보기