7. Zookeeper安装配置
说明
HBase及Solr的运行需要依赖以Zookeeper分布式协作服务。
7.1 检查软件包
目前项目版本的实施测试都是基于zookeeper-3.4.5-cdh5.2.0
序列 1 名称 zookeeper-3.4.5-cdh5.2.0.tar.gz
7.2 Zookeeper安装
步骤1 解压安装到安装目录 /usr/lib/CDH/
步骤2 进入安装目录,查看Zookeeper安装结果
说明
Zookeeper安装的时候只需要安装HBase依赖的Zookeeper集群就可以 了,Solr依赖的Zookeeper集群将在安装Solr的时候统一安装。 假设,整个集群有8个节点NodeA~NodeH,则NodeA~NodeC 上面安装 HBase依赖的Zookeeper,NodeD~NodeH无需安装。
7.3 Zookeeper配置
说明
Hbase及Solr服务依赖于Zookeeper,但是两者不共用同一套Zookeeper, 所以会把整个集群环境的节点数量分成两部分建立两套Zookeeper集群 ,由于Zookeeper的工作特性,两套Zookeeper须均为奇数个,所以两套Zookeeper集群在保证都为奇数个的情况下尽量均衡。
配置HBase依赖的Zookeeper: 步骤1 新建及编辑配置文件zoo.cfg
33 / 64
清空掉zoo.cfg 文件后,根据实际情况在文件中添加下图配置信息:
说明
dataDir:Zookeeper数据及日志信息存储目录 clientPort:Zookeeper服务端口,默认2181
server.0、server.1、server.2:HBase 依赖的Zookeeper环境节点,2888:3888
对应的内部服务端口,如已被占用可更改
在NodeA、NodeB、NodeC 的zoo.cfg 配置文件一次如上图配置,dataDir、clientPort信息可根据实际情况设置,其它信息需要一致。
步骤2 在dataDir目录下新增myid文件
在NodeA.myid 文件中置1、NodeB.myid 文件中置2、在NodeC.myid文件中置3,这个值如何设置是要跟zoo.cfg的server.* 中的*要一致的。 步骤3 zookeeper内存调整
如果需要重新配置zookeeper内存(默认2G),可调整$ZK_HOME/bin/zkServer.sh文件,如下图:
通过“:set nu”命令可以看到文件的行数 更改前信息:
更改后信息:
-xms:指zk服务启动初始内存大小 -xmx:指zk服务最大占用内存大小
34 / 64
7.4 Zookeeper启动/关闭
Zookeeper服务启动:
Zookeeper启动结果查看:
说明
NodeA 是节点名,2181 Zookeeper端口
Zookeeper服务关闭:
要依次在NodeA、NodeB、NodeC 上开启及关闭Zookeeper服务
35 / 64
说明
8. Hadoop安装配置
说明
Hadoop向HBase 提供HDFS分布式文件存储系统及MapReduce稳定高效的分布式计算框架
8.1 检查软件包
目前项目版本的实施测试都是基于hadoop-2.5.0-cdh5.2.0
序列 1 名称 hadoop-2.5.0-cdh5.2.0.tar.gz
8.2 Hadoop安装
步骤1 解压安装到安装目录 /usr/lib/CDH/
步骤2 进入安装目录,查看hadoop安装结果
8.3 Hadoop配置
步骤1 系统环境变量配置 修改配置文件 /etc/profile
在profile配置文件末尾添加下图参数信息:
修改完配置文件之后,执行下图指令让参数起效:
36 / 64

