Spark集群搭建与测试 - 图文

2025/5/6 19:59:16

该目录是我们在spark-defaults.conf中指定的(事实上,若不指定spark.eventLog.dir和spark.history.fs.logDirectory,你也无法启动historyserver,因为系统不知道去哪里存储你的history信息)

我们只需使用hdfs命令hdfsdfs -mkdir -p /historyserverforspark来创建该目录,再启动historyserver,jps可见多了个historyserver进程:

f. 使用webUI来查看historyserver是否成功启动http://master:8080

注1:start-all.sh其实质是先后执行了start-master.sh和start-slaves.sh:

最佳实践是:在master节点上执行start-all.sh.


Spark集群搭建与测试 - 图文.doc 将本文的Word文档下载到电脑
搜索更多关于: Spark集群搭建与测试 - 图文 的文档
相关推荐
相关阅读
× 快捷下载通道(下载后可以自由复制和排版)

开通会员免费下载

开通会员后百万份文档资料免费自由复制和下载,是您最优的选择,赶快来试试吧!

单篇下载:10元 点击下载

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信:fanwen365 QQ:370150219