博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...
阅读量:6327 次
发布时间:2019-06-22

本文共 638 字,大约阅读时间需要 2 分钟。

hot3.png

4.测试Hadoop分布式集群环境;

首先在通过Master节点格式化集群的文件系统:

105558_NKfx_1791057.png

输入“Y”完成格式化:

105559_CQyX_1791057.png

格式化完成以后,我们启动hadoop集群

105600_r2fh_1791057.png

我们在尝试一下停止Hadoop集群:

105602_y4We_1791057.png

此时出现了“no datanode to stop”的错误,出现这种错误的原因如下:

每次使用 “hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId,而我我们在搭建Hadoop单机伪分布式版本的时候往我们自己创建的tmp目录下放了数据,现在需要把各台机器上的“/usr/local/hadoop/hadoop-1.2.1/”下面的tmp及其子目录的内容清空,于此同时把“/tmp”目录下的与hadoop相关的内容都清空,最后要把我们自定义的hdfs文件夹中的data和name文件夹中的内容清空:

105603_z08H_1791057.png

把Slave1和Slave2中同样的内容均删除掉。

重新格式化并重新启动集群,此时进入Master的Web控制台:

105606_OQ8m_1791057.png

此时可以看到Live  Nodes只有三个,这正是我们预期的,因为我们Master、Slave1、Slave2都设置成为了DataNode,当然Master本身同时也是NameNode。

此时我们通过JPS命令查看一下三台机器中的进程信息:

105608_NMgI_1791057.png

105609_UkP9_1791057.png

105611_nLFV_1791057.png

发现Hadoop集群的各种服务都正常启动。

至此,Hadoop集群构建完毕。

转载于:https://my.oschina.net/u/1791057/blog/309465

你可能感兴趣的文章
王甲佳全息营销系列01-期望对试图通过网络实现或者兑现更多价值的人士有帮助...
查看>>
Buffer cache spillover: only buffers
查看>>
解读Oracle Database 12.1新特性Pluggable Databases
查看>>
了解rman catalog的兼容性
查看>>
java循环练习:猜数游戏
查看>>
VMware虚拟化之VSA(vSphere Storage Appliance)群集(二) 故障恢复详测
查看>>
巧破网页禁用鼠标右键
查看>>
2-07 总结:服务器硬件对性能的影响
查看>>
linux tty互看操作
查看>>
jQuery 菜单切换
查看>>
DIV浮动层绝对居中定位用CSS怎么写
查看>>
CC攻击
查看>>
手动安装linux操作系统
查看>>
宋朝五子登科家族金榜进士涂大任后裔在松滋
查看>>
ASP.NET 简单的柱形图实现(附带示例)
查看>>
Hugepages你用了吗?--原理概念篇
查看>>
Mac idea 快捷键
查看>>
Linux服务器部署系列之二—MySQL篇
查看>>
原创企业级控件库之图片浏览控件
查看>>
shell脚本工具之awk命令
查看>>