Spark集群搭建与测试 - 图文

2025/5/6 22:39:01

a. 修改slaves文件,(若没有slaves文件可以cpslaves.template slaves创建),

添加worker节点的Hostname,修改后内容如下:

b. 配置spark-env.sh,(若没有该文件可以cp spark-env.sh.template spark-env.sh创建),添加如下内容:

export JAVA_HOME=/usr/lib/java/jdk1.8.0_60 export SCALA_HOME=/usr/lib/scala/scala-2.10.4 export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop export SPARK_MASTER_IP=master export SPARK_WORKER_MEMORY=1g 修改后的内容如下:

更详细的配置说明,请参考官方文档:

http://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts c. 可选,配置spark-defaults.sh:

14. 启动并验证spark集群:

Spark只是一个计算框架,并不提供文件系统功能,故我们需要首先启动文件系统hdfs;在standalone模式下,我们并不需要启动yarn功能,故不需要启动yarn.

a. 用start-dfs.sh启动hdfs,参考step10.

b. 在hadoop集群启动成功的基础上,启动spark集群,常见的做法是在master节点

上start-all.sh:

c. 使用jps在master和worker节点上验证spark集群是否正确启动:

d. 通过webui查看spark集群是否启动成功:http://master:8080

e. 启动spark的historyserver:start-history-server.sh

Jps可见,historyserver没能启动成功。仔细观察日志可见,指定的日志目录不存在:


Spark集群搭建与测试 - 图文.doc 将本文的Word文档下载到电脑
搜索更多关于: Spark集群搭建与测试 - 图文 的文档
相关推荐
相关阅读
× 快捷下载通道(下载后可以自由复制和排版)

开通会员免费下载

开通会员后百万份文档资料免费自由复制和下载,是您最优的选择,赶快来试试吧!

单篇下载:10元 点击下载

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信:fanwen365 QQ:370150219