主节点操作
改名字,改为master,hosts
改hadoop的slaves加四个xml
slaves是加一个节点就要改一次
从节点操作
- 新建hadoop用户,修改权限,赋予权限
ALL =… - 改好主机名,按node01 node02……规则
- 配好ssh,保证可以通信
关防火墙,iptables stop
关selinux
自ssh可以,主对从可以免密ssh - 用scp传jdk和hadoop到从节点的tmp目录下
可能会出现权限问题,使用tmp目录则不要紧,文件夹权限问题 - 配jdk和hadoop的环境变量
新建一个java目录,如usr/local/java,将之放入,hadoop同理
改./bashrc添加路径
改./etc/profile添加路径
source文件 重载刷新
检查:直接java和hadoop回显相关信息 - 配置hadoop
改五个文件,特别注意,从主节点cp过来的hadoop是已经配好的,无需动
slaves仍然要改
检测: reboot
start-all.sh
hadoop dfsadmin -report显示正确
jps主从点显示正常进程
要关闭安全模式
dfsadmin safemode leave
<< 更多精彩尽在『程序萌部落』>>
<< https://www.cxmoe.com >>
运行实例
在hdfs新建一个文件夹
构造一个input输入文件夹带数据
运行hadoop文件夹中share里的用例
在hdfs中ls output
get output到本地再查看内容
完成其他配置
zookeeper
hbase
hive pig mahout
sqoop flume
Ambari
此部分配置spark,依附于hadoop集群
😒 留下您对该文章的评价 😄