Computer Science 썸네일형 리스트형 MongoDB 3.0 Sharding * sharding - 여러 단말에 걸쳐 데이터를 저장하는 방법. 1. 목적 - 큰 dataset과 높은 처리속도는 단일 서버에서는 힘든일이다. - working set 크기가 램 크기보다 커지면 disk i/0로 인해 버벅거리게 된다. - 이를 해결하기위해 2가지 방법이 있다. Vertical scaling과 Sharding( horizontal scaling). - Sharding은 각 shared가 처리하는 operation 수를 줄여준다. 각 Shared 는 클러스터가 커짐에 따라 적은 operation을 수행하게 된다. 2. 구성요소 - Shard, Query router, config server - Shard : 데이터를 저장한다. 각 Shard는 replica set이다. - Query r.. 더보기 MongoDB 3.0 replication * Replication의 목적 - 단일 서버 상황에서의 디비 손실로 부터 보호할 수 있다. - replica set 은 같은 dataset을 가지는 mongodb의 집합이다.- primary mongod가 모든 write operation을 받는다. 다른 모든 mongod instances(secondaries) 같은 operation을 적용한다. - primary : accept all write operations from clients. - Replica set에서 primary는 1개만 존재한다.- primary는 dataset의 모든 변화를 log에 남긴다.- Secondary는 primary의 log를 받아서 그들의 dataset에 operation을 적용시킨다.Secondary의 datas.. 더보기 hadoop 2.6.0 setting (v0.1) 1. hdfs-site.xml 관련 hadoop doc : http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml - namenode, datanode 의 tmp dir를 설정할 수 있다. 1) namenode, datanode 의 tmp dir 설정. 원하는 위치에 folder를 생성한다. mkdir /원하는/위치chmod 750 /원하는/위치chown -R 사용자명:사용자그룹 /원하는위치 [in hdfs-site.xml] dfs.namenode.name.dir/사용자가/원하는/tmp/dir dfs.datanode.data.dir/사용자가/원하는/tmp/dir (data, namenode 의 tmp dir.. 더보기 우분투 명령어들 - sudo vi /etc/hosts -> localhost를 변경할 수 있다. 변경 후 reboot. - 더보기 ubuntu virtual machine static ip - sudo vi /etc/network/interfaces- 해당 파일을 수정한다.- address '본인이 원하는 ip' iface eth0 inet static 나머지는 원하는데로~ - 저장 후 sudo /etc/init.d/networking restart 더보기 centos7 minimal setup 1. enable ifconfig yum install net-tools 2. install vimyum install nano vim 3. install wgetyum -y upgradeyum -y install wget 4. install javayum install java-1.7.0-openjdk java-1.7.0-openjdk-devel 5. install desktop 1. Install CentOS-7 - Minimal (First entry point in list) 2. yum groupinstall "X Window System" 3. yum install gnome-classic-session gnome-terminal nautilus-open-terminal control-cent.. 더보기 하둡 2.6.0 파일 위치 hadoop-env.sh설치위치/etc/hadoop 더보기 하둡 환경변수 등록 1. sudo vi ~/.bashrc 2. HADOOP_HOME=[하둡설치위치]PATH=$HADOOP_HOME:bin/$PATHJAVA_HOME=[자바설치위치]export PATHexport JAVA_HOME 3.source ~/.bashrc 더보기 우분투 vi 설정 1. sudo vi ~/.exrc 2. set autoindentset numberset bs=2set nocp 3. :wq 4. source ~/.exrc 더보기 하둡 2.6.0 예제 파일 실행하기 독자모드 설치 후 설치 확인을 위해 예제파일을 실행해 보았습니다. 예제파일은 '~/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples~.jar'입니다. 커맨드창에서 hadoop jar '예제파일'만 입력하면, 해당 jar파일에서 실행 가능한 여러가지 예제가 있습니다. wordcount, join, wordmean등등~ 이제 예제프로그램을 실행시켜보겠습니다. hadoop jar '예제파일' '실행하고자 하는 프로그램 명' '매개변수' '결과물을 출력할 위치' ex) wordcount의 경우는hadoop jar hadoop-2.6.0/share/hadoop/mapreduce/~~.kar wordcount NOTICE.TXT '원하는 아웃풋의 위치' .. 더보기 이전 1 2 3 4 5 6 7 8 ··· 10 다음
