OS X üzerine home brew ile hadoop kurulumu

Herkese merhaba, bu yazımda sizlere os x işletim sistemi üzerine hadoop'un nasıl kurulacağını paylaşacağım. Aşağıdaki adımları sırasıyla takip ederek uygularsanız hem hadoop'u kurmuş hemde çalışması için gerekli konfigürasyonu yapmış olacaksınız.

öncelikle home brew'in bilgisayarınızda kurulmuş olması gerekir. Brew kurulu değilse aşağıdaki komut'u terminalden çalıştırarak  brew kurulumunu yapın.

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

brew ile hadoop'u bilgisayarınıza kurmak için aşağıdaki komutu çalıştırmanız yeterli olacaktır.

brew install hadoop

Bu işlemden sonra kurulum tamamlandı. Artık bundan sonraki aşamada hadoop'un konfigüre edilmesini anlatıyor olacağım.

Öncelikle kurulum yaptığımız hadoop versiyonunu öğrenelim. 

hadoop version

Hadopp dizinine gidelim    /usr/local/Cellar/hadoop/<HADOOP_VERSION>/libexec/etc/hadoop/ 

cd /usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/

ayarları yapacağımız hadoop-env.sh dosyasını text editörü ile  açın. 

vi ./hadoop-env.sh

Dosya içinde aşağıdaki satırı bulun

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

ve aşağıdaki şekilde değiştirin.

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

aynı dizinde core-site.xml dosyasını açın

vi ./core-site.xml

<configuration></configuration> tagları arasına aşağıdaki içeriği yapıştın.

<property>      <name>hadoop.tmp.dir</name>      <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>      <description>A base for other temporary directories.</description>   </property>   <property>      <name>fs.default.name</name>      <value>hdfs://localhost:9000</value>   </property>

template olarak gelen mapred-site.xml.template dosyasından mapred-site.xml dosyası türetin.

cp  ./mapred-site.xml.template ./mapred-site.xml

mapred-site.xml dosyasını açın

vi ./mapred-site.xml

yine <Configuration></configuration> tagları arasına alttaki içeriği ekleyin.

<property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property>

hdfs-site.xml dosyasını açın

vi ./hdfs-site.xml

configuration tagları arasına alttaki  property satırlarını  ekleyin

<property> <name>dfs.replication</name> <value>1</value> </property>

Normal şartlarda home dizininde  .profile dosyası olmayacaktır. Bu dosyası aşağıdaki komut ile home dizininde  oluşturun ve açın

touch  ~/.profile && vi  ~/.profile

Bundna sonraki işlemlerde hadoop'u başlatmak ve durdurmak için kullanacağımı aşağıdaki satırları .profile dosyasına ekleyin.

alias hstart="/usr/local/Cellar/hadoop/2.8.1/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.8.1/sbin/start-yarn.sh" alias hstop="/usr/local/Cellar/hadoop/2.8.1/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.8.1/sbin/stop-dfs.sh"

yaptığınız değişikliklerin algılanması için bu dosyası yeniden yükleyin

source ~/.profile

Hadoop'u çalıştırabilmemiz için öncelikle HDFS'yi biçimlendirin.

hdfs namenode -format

************
Hadop sizin bilgisayarınızda dağıtık cluster(küme) yapısı oluşturarak çalışacaktır. Yani bilgisayarınızda birden fazla bilgisayar oluşturacaktır ve bunlara ssh üzerinden login olacaktır. Diğer bir deyişle kendi bilgisayarınıza ssh ile hadoop un bağlanabiliyor olması gerekiyor. Bunun  için de bir key oluşturup  remote login'e izin vermeniz gerekiyor.
OS X te varsayılan olarak remote login kapalı gelir. Aşağıdaki adımları takip ederek  hem remote login'i aktif hale getirebilir hemde bu işlem için public ve private key oluşturabilirsiniz.

Bir key oluşturun

ssh-keygen -t rsa

Key kullanırken doğrulama kodu olmasını istemiyorsanız(without passphrase) aşağıdaki komutu çalıştırın

ssh-keygen -t rsa -P ""

oluşturduğunuz key'i authorized keys listesine ekleyin

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Remote login'in mevcut durumda açık/kapalı olduğunu öğrenin 

sudo systemsetup -getremotelogin

MAC bilgisayraınızdan remote login'e izin verin 

“System Preferences” -> “Sharing” kısmına giderek   “Remote Login” kısmına tik koyarak aktif hale getirin.

Yada aşağıdaki komut ile remote login'e izin verin

sudo systemsetup -setremotelogin on

aşağıdaki komut ile bilgisayarınızın şifresini girerek login olun 

ssh localhost

çıkmak için exit komutunu çalıştırın 

exit

Hadoop'u çalıştırmak için 

hstart

Hadoop'u durdurmak için 

hstop

komutlarını kullanabilirsiniz. 

WEb arayüzü erişim linki :

http://localhost:50070/

kaynaklar :

https://amodernstory.com/2014/09/23/installing-hadoop-on-mac-osx-yosemite/

https://isaacchanghau.github.io/2017/06/27/Hadoop-Installation-on-Mac-OS-X/