hadoop如何部署

魁首哥

作者

hadoop如何部署

这篇文章将为大家详细讲解有关hadoop如何部署，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Hadoop的三种模式：
Standalone Operation 单机模式不开发不生产没有进程
Pseudo-Distributed Operation 伪分布式开发不生产独立进程但是只部署在1台机器
Fully-Distributed Operation 分布式开发生产独立进程但是只部署在n台机器

部署：
1.解压
命令：tar -xzvf hadoop-2.8.1.tar.gz

2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和机器名字
如：

3.修改权限

4.配置文件
part1:
切换到hadoop用户后再切换到我的hadoop资源目录

从官网获取配置代码，添加到configuration配置里

更改localhost为我们自己的ID

part2:指令：vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml

5.无密码ssh
输入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

继续执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

指令执行完成后用ssh 192.168.137.252来检查，如果结果仍然是自己的话就成功了。

这里可能会要给hadoop用户设置进入密码，可以去root用户使用命令passwd hadoop（可以是你的hadoop用户名）设定。

6.namenode格式化
首先切换用户到hadoop用户，然后我们跳转到/opt/software/hadoop.... 即hadoop的文件目录下了，输入指令bin/hdfs namenode -format，此事如果报错为（WARN net.DNS: Unable to determine local hostname -falling back to "localhost"java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
），我们需要进入文件/etc/sysconfig/network中，vi编辑它，变成如图：

如果没有报错则结果为：

7.启动
还是在hadoop文件目录下vi进入文件vi etc/hadoop/hadoop-env.sh，按I修改文件尾部添加内容为如图：
输入指令：sbin/start-dfs.sh得到如图结果则为成功:
输入JPS查看结果为：