Hadoop新增datanode与SecondaryNameNode

无论是新增namenode还是SecondaryNameNode,操作方法大致相同

一、如果新增datanode,需要保证namenode能无密码ssh连接到新datanode

如果是添加SecondaryNameNode,则需保证其能无密码ssh连接至各datanode和namenode,namenode也需要能无密码连接到新SecondaryNameNode

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@datanodes

二、同步程序文件

hadoop的运行依赖JAVA环境,所以,以namenode为准,迁移java环境:

在namenode上运行:

# rsync -av /opt/jdk1.6.0_33 root@dest_server:/opt/

创建文件 /etc/profile.d/java.sh ,内容 为:

export JAVA_HOME="/opt/jdk1.6.0_33"
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

在namenode主机上的conf/master文件中添加新SecondaryNameNode的IP地址:

106.186.122.165

(如果是只新增namenode则不需要上面这一步)

迁移hadoop软件,日志文件不需要迁移:

# rsync -av --exclude "logs" /data/hadoop-1.1.1/ root@dest_server:/data/hadoop-1.1.1/


三、保证各结点时区一致(我们现有服务器时区五花八门,所以这一步很重要)

# rsync -av /etc/localtime root@dest_server:/etc/

四、在/etc/profile中重新定义PATH变量

在新结点上:

# echo "export PATH=$PATH:/opt/jdk1.6.0_33/bin:/data/hadoop-1.1.1/bin" >> /etc/profile

五、运行所需的服务

如果是新增datanode,在相应主机上运行:

# hadoop-daemon.sh start datanode
# hadoop-daemon.sh start tasktracker

如果是新增SecondaryNameNode,在相应主机上运行:

# hadoop-daemon.sh start secondarynamenode

以上均可用jps命令查看其运行状况。

So easy~

原创文章,作者:红豆殺,如若转载,请注明出处:http://www.178linux.com/739

(0)
红豆殺红豆殺
上一篇 2015-03-08 21:34
下一篇 2015-03-08 21:42

相关推荐

  • 数据库基础知识

    关系模型:结构化数据模型实体-关系模型对象关系模型:基于对象的数据模型半结构化数据模型:XML(扩展标记语言) SQL:Structure Query Language结构化查询语言DML:数据操作语言INSERT DELETE SELECT UPDATEDDL:数据定义语言CREATE DROP ALTERDCL: 数据控制语言GRANT REVOKE R…

    Linux干货 2017-09-25
  • 从Code Review 谈如何做技术

    (这篇文章缘由我的微博,我想多说一些,有些杂乱,想到哪写到哪) 这两天,在微博上表达了一下Code Review的重要性。因为翻看了阿里内部的Review Board上的记录,从上面发现Code Review做得好的是一些比较偏技术的团队,而偏业务的技术团队基本上没有看到Code Review的记录。当然,这并不能说没有记录他们就没有做Code Review…

    Linux干货 2016-08-15
  • MariaDB数据库基于SSL实现远程访问和主从复制

    MariaDB数据库基于SSL实现远程访问和主从复制 实验环境 系统环境:Centos6.5 数据库版本:5.5.36-MariaDB-log MariaDB Server 虚机数量:2 方案实施: 1,配置CA;并为node1和node2生成key和证书 2,在node1和node2上安装Mariadb 3,配置节点1为MariaDB主节点 4,配置节点2…

    Linux干货 2016-05-18
  • 第五周作业

    1、简述rpm与yum命令的常见选项,并举例 rpm 命令 linux的的包管理器,用于对rpm软件包,进行安装、升级、卸载、查询、校验等操作。 使用语法: rpm [OPTIONS] [PACKAGE_FILE] 常用选项: 安装: -i,–install 升级: -U,–update,-F,–freshen 卸载: -…

    Linux干货 2017-12-14
  • 笔记

    命令 命令列表 alias 别名 bc 计算器 basename文件基本名 cp 复制 cd 进入文件夹 cat /proc/partition 查看硬盘的使用情况 cat /proc/meminfo 查看内存的使用情况 chvt 切换终端 chown改变文件的所属组 edj:chown -R www /etc/host clock 查询或设置硬件时间 ch…

    Linux干货 2017-05-25
  • Linux基础学习总结(五)

    1、显示当前系统上root、fedora或user1用户的默认shell; grep -E ‘^(root|fedora|user1)\>’ /etc/passwd | awk -F ‘:’ ‘{print $7}’ 2、找出/etc/rc.d/init.d/functions文件中某单词后面跟一组小括号的行,形如:hello(); grep -E ‘…

    Linux干货 2016-10-20