Installation de Hadoop sur OSX
J’ai décidé que je voulais mettre en place un cluster Hadoop sur le Mac, je lance, cela a été décidé principalement à cause de Xgrid ne commence pas plus disponible sur le nouvel os version OsX. J’ai installation que SGE grappes avant, Xgrid évidemment et Microsoft Cluster Server, donc je voulais faire à mon actif. Ce n’est pas le guide définitif mais cela a fonctionné assez bien pour moi, je suis toujours pas sûr de certains concepts, mais cela viendra avec la pratique.
La première étape consiste à s’assurer que vous avez les bases.
Outils de ligne de commande Xcode et développeur Java pour votre système d’exploitation version OsX.
https://developer.Apple.com/downloads/index.action
Permet tout d’abord créer un groupe et un utilisateur sur chaque ordinateur.
Créez un groupe nommé « hadoop » et puis ajouter un utilisateur admin « hadoopadmin » au groupe.
Permet de faire tout ce que hadoopadmin pour le rendre facile.
Vous pouvez télécharger Hadoop et l’installer vous-même, mais j’ai pris un raccourci et homebrew permettant de l’installer.
-> infusion install hadoop
Cela mettra tous vos chemins d’env dans les fichiers de config de hadoop bon alors il s’agit d’une aide.
Une fois installé, permet définie les fichiers de config dans hadoop.
J’ai nommé mes machines
hadoop01 & hadoop02 pour les deux premiers.
Configurer les fichiers maîtres et esclaves sur toutes les machines.
maître :
hadoopadmin
esclaves :
hadoopadmin
hadoopadmin
Également configurer/etc/hosts sur toutes les machines.
#
localhost # est utilisé pour configurer l’interface de bouclage
# Lorsque le système démarre. Ne modifiez pas cette entrée.
##
127.0.0.1 localhost
255.255.255.255 broadcasthost
:: 1 localhost
FE80::1 % lo0 localhost
#
#
#
# hadoop
132.235.132.67 hadoop01
132.235.132.46 hadoop02
J’utilise 2.4.0 alors qu’ils sont trouvent dans
/usr/local/Cellar/Hadoop/2.4.0/libexec/etc/Hadoop
Edit
Hadoop-env.sh
J’ai changé ces deux lignes.
#export JAVA_HOME="$(/usr/libexec/java_home)"
À
Export JAVA_HOME ='/ usr/libexec/java_home - v 1,6'
et
#export HADOOP_OPTS = "$HADOOP_OPTS-Djava.net.preferIPv4Stack=true"
À
Export HADOOP_OPTS = "- Djava.security.krb5.realm= - Djava.security.krb5.kdc="
Celle-ci s’est arrêté une erreur Qu'au démarrage, je recevais.
Edit
HDFS-site.xml
Insérez cette configuration
DFS.Replication
3
DFS.Name.dir
/usr/local/Cellar/Hadoop/2.4.0/HDFS/Name
DFS.Data.dir
/usr/local/Cellar/Hadoop/2.4.0/HDFS/Data
Edit
mapred-site.xml.template
Insérer
mapred.job.Tracker
hadoop01:9001
Edit
Core-site.xml
FS.default.Name
HDFS://hadoop01:9000
Hadoop.tmp.dir
/usr/local/Cellar/Hadoop/2.4.0/tmp
Maintenant passons créer quelques répertoires hadoop
/usr/local/Cellar/hadroop/2.4.0
-> tmp mkdir - hadoop
-> hadoop - mkdir hdfs
-> hadoop - mkdir hdfs/nom
-> hadoop - mkdir hdfs/données
J’ai activé le SSH sans mot de passe sur toutes les machines.
ssh-keygen - t dsa -P « -f ~/.ssh/id_dsa
Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
J’ai trouvé des infos là-dessus à
http://StackOverflow.com/questions/7134535/Setup-passphraseless-SSH-to-localhost-on-OS-x
J’ai formaté puis le nœud name
-> namenode hadoop-format
Hadoop a alors commencé en exécutant
/usr/local/Cellar/Hadoop/2.4.0/libexec/sbin/Start-All.sh
J’ai fait toutes ces choses sur toutes mes machines, bien que certains éléments, je pense que n’avez pas besoin d’être.
Je dois remercier
http://StackOverflow.com &
http://dennyglee.com
Des tutoriels et aide obtenant par ce biais.
Merci
Joe Murphy
AKA Grehyton
