Merhaba,
bu yazımda sizlere yine bir hadoop kurulumu paylaşacağım. Hadoop'u dağıtık(multi node) olarak kuracağım. Bildiğiniz üzere daha önceden
hadoop kurulumunu analatan bir yazı paylaşmıştım. Ancak bu yazımda hadoop'u docker kullanarak kurup her bir node'u docker container'ı olarak çalıştıracağım. Dolayısıyla multi node hadoop kurulumu yaptığınızda tek tek sanal makine kopyalamak durumunda kalmayacaksınız. Bu sayede hem zaman hem de yer(disk) kazanımında bulunmuş olacağız.
Yeri gelmişken bir not düşerek tekrar bir hatırlatma yapayım; hadoop'u single node ve multi node olarak kurabiliyorsunuz. Single node da task tracker, data node, job tracker ve name node ların tamamı tek bir bilgisayar üzerindedir. Ancak multi node yapısında ise bu birimleri farklı bilgisayarlar üzerinde çalıştırmak amaçlanmıştır. Bu sayede çok büyük verilerin analizi daha da kolaylaşmıştır.
Yazının devamında yapılacak işlemleri özetlemek gerekirse;
- içinde docker ve java kurulmuş olan bir docker image'ı oluşturacağız.
- Bu image dan 1 adet master docker container'ı oluşturacağız.
- Yine aynı docker image'ından N tane slave container oluşturacağız.
1 adet master ve N tane slave node oluşturacak yapıyı kurmak için aşağıdaki adımları takip ederek uygulayın.
Oluşturacağımız docker container ların birbirleriyle haberleşebilmesi için tüm bu containerlar aynı ağda olmalıdır. Dolayısıyla ilk olarak terminali açarak docker ile bir ağ(network) oluşturun.
$ docker network create -d bridge --subnet 172.25.0.0/16 hadoopNetwork
|
Bulunduğunuz dizinde Dockerfile adında bir dosya oluşturarak aşağıdaki içeriği bu dosyaya ekleyin.
FROM ubuntu:16.04
MAINTAINER Levent YILDIZ <dev.levent.yildiz@gmail.com>
RUN apt-get update
RUN apt-get install openjdk-8-jdk -y
RUN apt-get install -y wget
RUN apt-get install -y openssh-server
RUN wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/hadoop-2.7.5.tar.gz -P ~/Downloads
RUN tar zxvf ~/Downloads/hadoop-2.7.5.tar.gz -C /usr/local
RUN mv /usr/local/hadoop-* /usr/local/hadoop
RUN mkdir /var/hadoop
ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/jre/
ENV PATH $PATH:$JAVA_HOME/bin
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $PATH:$HADOOP_HOME/bin
ENV HADOOP_CONF_DIR /usr/local/hadoop/etc/hadoop
RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
COPY conf/* /tmp/
RUN mv /tmp/ssh_config ~/.ssh/config
RUN mv /tmp/core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml
RUN mv /tmp/mapred-site.xml /usr/local/hadoop/etc/hadoop/mapred-site.xml
RUN mv /tmp/hdfs-site.xml /usr/local/hadoop/etc/hadoop/hdfs-site.xml
RUN mv /tmp/masters /usr/local/hadoop/etc/hadoop/masters
RUN mv /tmp/slaves /usr/local/hadoop/etc/hadoop/slaves
RUN /tmp/env.sh
CMD [ "sh", "-c", "service ssh start; bash"] |
Dockerfile ile kopyalanan conf dosyalarının içeriğini github üzerinden
indirebilirsiniz.
Üstte oluşturduğumuz Dockerfile ile bir hadoop image'ı oluşturun.
$ docker build -t base-hadoop:1.0 .
|
Burada oluşturduğumuz içinde hadoop kurulu olan image dan hem master hemde slave nodelar çalıştırmak için birer container oluşturacağız. Yani yazının en başında da belirttiğim gibi bütün container lar tek bir image dan oluşacak.
ilk olarak base-hadoop image'ındadan master container oluşturun
$ docker run -itd --network="hadoopNetwork" --ip 172.25.0.100 -p 50070:50070 -p 8088:8088 --name master --hostname master base-hadoop:1.0
|
ikinci olarak ta bir for-loop ile istenilen sayı kadar slave container oluşturun. Aşağıda ( c=1; c<=3; c++ ) ifadesiyle 3 tane slave container oluşturulacak.
for (( c=1; c<=3; c++ ))
do
tmpName="slave$c"
docker run -itd --network="hadoopNetwork" --ip "172.25.0.10$c" --name $tmpName --hostname $tmpName base-hadoop:1.0
done |
Döngü ile oluşturulan container ların IP adresi , adı ve hostname'i
172.25.0.101 : slave1
172.25.0.102 : slave2
172.25.0.103 : slave3
şeklinde olacaktır.
172.25.0.100 adresi ise master container'ın IP adresi olacaktır.
Master container da hadoop'u ayağa kaldırmak için aşağıdaki komutları çalıştırın
$ docker exec -ti master bash
$ hadoop namenode -format && /usr/local/hadoop/sbin/start-dfs.sh && /usr/local/hadoop/sbin/start-yarn.sh |
son olarak aşağıdaki adresleri ziyaret ederk kurulum kontrolü yapabilirsiniz.
http://localhost:50070/dfshealth.html#tab-datanode
http://localhost:8088/cluster/nodes
Üsteki yapılan işlemleri bir script içinde toplayarak git hesabımdan paylaştım. Bu adımların uygulanmasını incelemek için
github üzerindeki ilgili repo'yu ziyaret edebilirsiniz. Repoyu lokal bilgisayarınıza indirerek te yine üstteki adımların uygulanmış halini otomotik olarak çalıştırabilirsiniz.
Üsteki adımları daha hızlı uygulamak için github tan belirttiğim repo'yu indirin.
$ git clone https://github.com/lvntyldz/docker-multinode-hadoop.git && cd docker-multinode-hadoop
|
run.sh scripti otomotik olarak 1 adet master container oluşturacak şekilde hazırlanmıştır. Ancak slave container sayısı kullanıcıdan beklenmektedir. Oluşturmak istediğiniz slave container sayısını parametere olarak run.sh scriptine vererek kurulumu tamamlayın
$ ./run.sh <SLAVE_CONTAINER_COUNT>
|
ÖRN: 2 slave container için
