Scribd
Cargar
75 vistas11 páginas

Instalación Hadoop

El documento proporciona instrucciones para instalar y configurar Hadoop en un solo nodo. Incluye pasos para instalar Java, SSH, PDSH y configurar variables de entorno, HDFS, YARN y MapReduce.

Cargado por

jhon hernandez
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd
75 vistas11 páginas

Instalación Hadoop

El documento proporciona instrucciones para instalar y configurar Hadoop en un solo nodo. Incluye pasos para instalar Java, SSH, PDSH y configurar variables de entorno, HDFS, YARN y MapReduce.

Cargado por

jhon hernandez
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como DOCX, PDF, TXT o lee en línea desde Scribd
Está en la página 1/ 11

1.

# para validar usuario


Pwd

2. su
sudo visudo
usuario ALL=(ALL:ALL) ALL

3. sudo apt update


sudo apt install openjdk-11-jdk #instalador java

4. java -version #validar versión java

5. update-alternatives --display java #conocer la ruta instalación java

6. agregar variables de entorno


# modificar variables de entorno

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
#actualizar variables de entorno
source ~/.bashrc

7. # verificar path
echo $JAVA_HOME

8. # instalar ssh

sudo apt-get install ssh

9. # configurar ssh passwordless


ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

10. #instalar PDSH

sudo apt-get install pdsh

11. #crear archivo rcmd_default para pdsh

cd /etc/pdsh/
nano rcmd_default
sudo nano rcmd_default

#ingresar el codigo
ssh
12. Instalación hadoop
#descomprimir hadoop

cd Documentos
tar -xzvf hadoop-3.3.6.tar.gz

13. # cambiar nombre archivo

mv hadoop-3.3.6 hadoop
14. Verificar donde se instala hadoop

cd hadoop/
pwd

15. #verificar que hadoop funcione

./bin/hadoop

16. # ajustar variables de entorno de hadoop

nano ~/.bashrc

#agregagamos estas dos líneas al final

export HADOOP_HOME=/home/usuario/Documentos/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

nota: esta dirección (/home/usuario/Documentos/hadoop) se saca en el paso 14.


#despues de salir del archivo nano ejecutamos:

source ~/.bashrc

17. echo $HADOOP_HOME

18. # decirle al hadoop donde está el java

nano etc/hadoop/hadoop-env.sh
#escribir la siguiente línea debajo donde dice export JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

19. Distribución hdfs

nano etc/hadoop/core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

20. nano etc/hadoop/hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

21. verificación funcionamiento y browser

bin/hdfs namenode -format

22. # arranque sistema de archivos

sbin/start-dfs.sh
23. # ver aplicativo funcionando en browser

localhost:9870/

24. Ajustar archivos map-red

nano etc/hadoop/mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

25. Ajustar los archivos yarn-site

nano etc/hadoop/yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>CLUSTER</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>CLUSTER:8032</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>0.0.0.0:8088</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME, HADOOP_COMMON_HOME, HADOOP_HDFS_HOME,
HADOOP_CONF_DIR, CLASSPATH_PREPEND_DISTCACHE, HADOOP_YARN_HOME,
HADOOP_HOME, PATH, LANG, TZ, HADOOP_MAPRED_HOME</value>
</property>

También podría gustarte