9 Practicas+BigData MapReduce
9 Practicas+BigData MapReduce
Prácticas BigData
1. MapReduce
• Vamos a subir al directorio prácticas un fichero denominado “quijote.txt” que
contiene el Quijote. Lo tienes disponible en los recursos de las prácticas. Lo más
sencillo es que lo descargues desde la propia máquina virtual
hdfs dfs -put /home/hadoop/Descargas/quijote.txt /practicas
• NOTA IMPORTANTE: Aquellos que estáis usando Hadoop 3, es posible que
el siguiente ejemplo no funcione correctamente. En ese caso tenemos que añadir
al fichero yarn-site.xml el siguiente contenido. Por supuesto adaptarlo a vuestro
HADOOP_PATH
<property>
<name>yarn.application.classpath</name>
<value>
/opt/hadoop3/hadoop/etc/hadoop,
/opt/hadoop3/share/hadoop/common/*,
/opt/hadoop3/share/hadoop/common/lib/*,
/opt/hadoop3/share/hadoop/hdfs/*,
/opt/hadoop3/share/hadoop/hdfs/lib/*,
/opt/hadoop3/share/hadoop/mapreduce/*,
/opt/hadoop3/share/hadoop/mapreduce/lib/*,
/opt/hadoop3/share/hadoop/yarn/*,
/opt/hadoop3/share/hadoop/yarn/lib/*
</value>
</property>
• Lanzamos el wordcount contra el fichero. Indicamos el directorio de salida
donde dejar el resultado, en este caso en /practicas/resultado (siempre en HDFS)
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-
examples-2.9.0.jar wordcount /practicas/quijote.txt /practicas/resultado
8/01/06 19:29:24 INFO Configuration.deprecation: session.id is deprecated.
Instead, use dfs.metrics.session-id
18/01/06 19:29:24 INFO jvm.JvmMetrics: Initializing JVM Metrics with
processName=JobTracker, sessionId=
18/01/06 19:29:26 INFO input.FileInputFormat: Total input files to process : 1
18/01/06 19:29:27 INFO mapreduce.JobSubmitter: number of splits:1
18/01/06 19:29:28 INFO mapreduce.JobSubmitter: Submitting tokens for job:
job_local382862986_0001
18/01/06 19:29:28 INFO mapreduce.Job: The url to track the job:
http://localhost:8080/
18/01/06 19:29:28 INFO mapreduce.Job: Running job:
job_local382862986_0001
www.apasoft-training.com 1
Apasoft Training
www.apasoft-training.com 2
Apasoft Training
www.apasoft-training.com 3
Apasoft Training
"Defects," 1
"Desnudo 1
"Dijo 1
"Dime 1
"Don 1
"Donde 1
"Dulcinea 1
"El 2
"Esta 1
"Harto 1
"Iglesia, 1
"Information 1
"Más 2
"No 5
"Nunca 1
"Plain 2
"Project 5
"Que 1
"Quien 1
"Right 1
"Salta 1
"Sancho 1
"Si 3
"Tened 1
"Toda 1
"Vengan 1
"Vete, 1
"/tmp/palabras_quijote.txt" 40059L, 448894C
• Accedemos a la WEB de Administración de YARN.
• Si seleccionamos la opción “Applications” podemos ver la aplicación que
acabamos de lanzar
www.apasoft-training.com 4
Apasoft Training
www.apasoft-training.com 5
Apasoft Training
www.apasoft-training.com 6