18 Şubat 2018 Pazar

linux işletim sistemine hadoop kurulumu

Herkese merhaba, bu yazımda sizlere linux makineye hadoop kurulumunu anlatacağım. Kurulumu shell komutlarıyla terminal üzerinden yapacağım. Aşağıdaki adımları takip ederek ubuntu(linux) sistemlere hadoop'un nasıl kurulacağını görebilirsiniz.

# ilk olarak sistemi güncelleyin 
$ sudo apt-get update && sudo apt-get upgrade 

# Hadoop java iler geliştirildiği için çalıştırılması için javayı kurun 
 $ sudo apt-get install openjdk-8-jdk

# Eğer local repositorylerin içinde java yoksa aşağıdaki komutla java yı local repository'e ekleyin. 
 $ sudo add-apt-repository ppa:openjdk-r/ppa

# güncel repository ile sistemi tekrar güncelleyin 
 $ sudo apt-get update

# ve tekrar javayı kurun 
sudo apt-get install openjdk-8-jdk 

# Java kurulumunun başarılı olup olmadığını anlamak için versiyon bilgisine bakın 
 $ java -version

# Hadoop'u /home/Downloads dizinine indirin 
 $ wget http://apache.mirrors.tds.net/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz -P ~/Downloads

# tar olarak indirdiğiniz haddop dosyasını açın ve /user/local dizinine kopyalayın 
$ sudo tar zxvf ~/Downloads/hadoop-3.0.0.tar.gz  -C /usr/local
$ sudo mv /usr/local/hadoop-* /usr/local/hadoop 

# Java ve Hadoop pathlerini ~/.bash_profile dosyasına ekleyin 
 echo "
export JAVA_HOME=$(readlink -f $(which java))
export PATH=\$PATH:\$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export PATH=\$PATH:\$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
" >> ~/.bash_profile

# bu işlemden sonra .bash_profile dosyasının içeriğine bakın 
$ cat ~/.bash_profile 

# içerik aşağıdaki gibi olmalıdır: 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop 

# Değişikliklerin aktif olabilmesi için ~/.bash_profile dosyasını yeniden yükleyin 
 source ~/.bash_profile

# Versiyon bilgisini sorgulayarak hadoop kurulumunu kontrol edin 
 $ hadoop version

# Çıktı aşağıdaki gibi olmalıdır : 
 Hadoop 3.0.0
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r c25427ceca461ee979d30edd7a4b0f50718e6533
Compiled by andrew on 2017-12-08T19:16Z
Compiled with protoc 2.5.0
From source with checksum 397832cb5529187dc8cd74ad54ff22
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.0.0.jar

Hiç yorum yok:

Yorum Gönder