Scribd Logo
Cargar

¡Te damos la bienvenida a Scribd!

  • 62 vistas

    Yarn Big Data

    Cargado por

    Giannina Costa Lizama
    El documento describe los pasos para configurar e implementar YARN en un entorno pseudo-distribuido de Hadoop, incluyendo copiar y editar archivos de configuración como mapred-site.xml y yarn-site.xml, iniciar servicios como HDFS, ResourceManager, NodeManager y JobHistoryServer, y verificar que los procesos se ejecutan correctamente mediante el comando jps. También explica cómo acceder a la interfaz web de administración de YARN.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd

    Yarn Big Data

    Cargado por

    Giannina Costa Lizama
    62 vistas3 páginas
    El documento describe los pasos para configurar e implementar YARN en un entorno pseudo-distribuido de Hadoop, incluyendo copiar y editar archivos de configuración como mapred-site.xml y yarn-site.xml, iniciar servicios como HDFS, ResourceManager, NodeManager y JobHistoryServer, y verificar que los procesos se ejecutan correctamente mediante el comando jps. También explica cómo acceder a la interfaz web de administración de YARN.

    Descripción original:

    Ejercicios prácticos con Yarn

    Derechos de autor

    © © All Rights Reserved

    Formatos disponibles

    PDF, TXT o lea en línea desde Scribd

    ¿Le pareció útil este documento?

    ¿Este contenido es inapropiado?

    El documento describe los pasos para configurar e implementar YARN en un entorno pseudo-distribuido de Hadoop, incluyendo copiar y editar archivos de configuración como mapred-site.xml y yarn-site.xml, iniciar servicios como HDFS, ResourceManager, NodeManager y JobHistoryServer, y verificar que los procesos se ejecutan correctamente mediante el comando jps. También explica cómo acceder a la interfaz web de administración de YARN.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd
    Descargar como pdf o txt
    62 vistas3 páginas

    Yarn Big Data

    Cargado por

    Giannina Costa Lizama
    El documento describe los pasos para configurar e implementar YARN en un entorno pseudo-distribuido de Hadoop, incluyendo copiar y editar archivos de configuración como mapred-site.xml y yarn-site.xml, iniciar servicios como HDFS, ResourceManager, NodeManager y JobHistoryServer, y verificar que los procesos se ejecutan correctamente mediante el comando jps. También explica cómo acceder a la interfaz web de administración de YARN.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd
    Descargar como pdf o txt
    de 3

    Apasoft Training

    Prácticas BigData
    1. YARN EN ENTORNOS PSEUDO-DISTRIBUIDO
    • Copiamos el fichero “mapred-site.xml.template” a “mapred-site.xml”
    • Ponemos la siguiente propiedad.
    <property>

    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    • Y en el fichero yarn-site.xml ponemos las siguientes:
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>nodo1</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    • Arrancamos HDFS si no lo está
    • Arrancamos los servicios YARN
    start-yarn.sh
    • Comprobamos con jps que tenemos los dos procesos de YARN
    • Arrancamos HDFS si no lo está
    • Arrancamos los servicios YARN
    • Start-yarn.sh
    • Arrancamos el servicio que permite guardar el histórico de los Jobs lanzados
    • En el caso de tener hadoop versión 2 ejecutamos el comando
    /mr-jobhistory-daemon.sh starthistoryserver
    • En el caso de tener haddop 3 ejecutamos el comando

    www.apasoft-training.com 1
    Apasoft Training

    mapred --daemon start historyserver


    • Comprobamos con “jsp” que tenemos los procesos lanzados
    • Arrancamos HDFS si no lo está
    • Arrancamos los servicios YARN
    Start-yarn.sh
    • Comprobamos con jps que está funcionando
    jps
    1137 Jps
    22962 DataNode
    23187 SecondaryNameNode
    419 ResourceManager
    22837 NameNode
    541 NodeManager

    • Arrancamos el servicio que permite guardar el histórico de los Jobs lanzados


    o En versión 2 de Hadoop
    mr-jobhistory-daemon.sh start historyserver
    starting historyserver, logging to /opt/hadoop/logs/mapred-hadoop-historyserver-
    nodo1.out
    o En Versión 3 de Hadoop
    • Comprobamos con jps que está funcionando
    jps
    22962 DataNode
    23187 SecondaryNameNode
    419 ResourceManager
    1475 JobHistoryServer
    22837 NameNode
    1515 Jps
    541 NodeManager
    • Accedemos a la página WEB de Administración para comprobar que está
    funcionando.

    www.apasoft-training.com 2
    Apasoft Training

    • Comprobamos en Nodes que tenemos el nodo activo

    www.apasoft-training.com 3

    También podría gustarte