Spark集群搭建与测试 - 图文

2025/5/6 22:31:59

注2:注:有的朋友喜欢使用start-all.sh,其实质是执行了start-dfs.sh和start-yarn.sh,如下图可见,在提示中也可见,推荐分开使用start-dfs.sh和start-yarn.sh而不是直接使用start-all.sh:

c. 启动yarn: start-yarn.sh

使用jps验证yarn是否启动成功:

通过webui检查yarn是否启动成功: http://master:8088/

http://worker1:8042/

d. 启动JobHistory Server:mr-jobhistory-daemon.sh start historyserver

使用jps验证JobHistory Server是否启动成功:

通过webui检查JobHistory Server是否启动成功:

http://master:19888

e. 验证hadoop集群 创建文件夹:

hdfsdfs -mkdir -p /data/wordcount hdfsdfs -mkdir -p /output 上传文件:

hdfsdfs -put /usr/local/hadoop/hadoop-2.6.0/etc/hadoop/*.xml /data/wordcount 查看上传文件是否成功: hdfsdfs -ls /data/wordcount


Spark集群搭建与测试 - 图文.doc 将本文的Word文档下载到电脑
搜索更多关于: Spark集群搭建与测试 - 图文 的文档
相关推荐
相关阅读
× 快捷下载通道(下载后可以自由复制和排版)

开通会员免费下载

开通会员后百万份文档资料免费自由复制和下载,是您最优的选择,赶快来试试吧!

单篇下载:10元 点击下载

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信:fanwen365 QQ:370150219