Spark集群搭建与测试 - 图文

2025/6/27 18:56:38

b. Spark-shell集群模式:

通过webUI的方式查看系统信息:http://master:4040 Environment信息:

Executors信息:

16. 通过spark-shell测试SPARK集群:

a. 将spark安装包下的README.md上传到hdfs:hdfsdfs -put README.md /data/

b. 通过hdfs的web控制台查看可见上传成功:

c. 在spark-shell中对上传的文件进行操作: 读取文件:val file=sc.textFile(\

对读取的文件进行count操作:val count = file.flatMap(line =>line.split(\(word,1)).reduceByKey(_+_)

用collect命令提交并执行Job:count.collect


Spark集群搭建与测试 - 图文.doc 将本文的Word文档下载到电脑
搜索更多关于: Spark集群搭建与测试 - 图文 的文档
相关推荐
相关阅读
× 快捷下载通道(下载后可以自由复制和排版)

开通会员免费下载

开通会员后百万份文档资料免费自由复制和下载,是您最优的选择,赶快来试试吧!

单篇下载:10元 点击下载

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信:fanwen365 QQ:370150219