HDFS学习笔记

2026/4/28 15:33:30

Hadoop与大数据的关系

1、HDFS+MapReduce 2、大数据生态系统

何谓大数据之大?多大称得上大? 打孔纸带(西文字符集)?

磁盘设备(顺序存,缺点:碎片不能利用)?

文件系统(有效的管理,磁盘/分区/FS,有的应用不用FS,如Oracle的ASM直接管理裸盘,缺点:并发性/安全性问题)? 数据库(信息建立一个联系),层次型(二叉树,单向指针)/网络型(复杂,层次式+双向)/关系型(IBM理论?论文?Oracle,最大数据量百T级别,数据量大到RDBMS处理不了)? 大数据平台(DFS+Nosql)

Doug Cutting?Cloudera,很多组件的发明者都在Cloudera这家公司

不同文件系统支持的文件大小:

?在hdfs 上创建enmoedu用户的家目录

hadoop fs -ls

ls: `.': No such file or directory

创建家目录

sudo -u hdfs hadoop fs -mkdir /user/enmoedu 修改权限

sudo -u hdfs hadoop fs -chown -R enmoedu:enmoedu /user/enmoedu

删除的目录放在.Trash/Current的目录下,怎么彻底删掉?

?上传文件到hdfs

hadoop fs -put ~/training materials/admin/data/shakespeare.txt

到elephant节点查看家目录,目录与shakespeare.txt文件都有了,是咋回事?

Monkey节点jps没有返回了?

上传文件

hadoop fs -put 20161130

?配置文件信息所在目录

/etc/hadoop/conf/hdfs-site.xml

查看元数据信息

sudo -u hdfs hdfs oiv -i fsimage_0000000000000000502 -o ./fsimage.xml -p XML

?我上传了新文件,就这个变了,重新导出的fsimage.xml内容也没有变

通过元数据信息找数据块 vim fsimage.xml

Xml中并没有存块的位置信息 到dn目录去找

/dfs/dn/current/BP-1935755242-192.168.91.129-1479914912771/current/finalized/subdir0

可以直接查看内容

more ./subdir0/blk_1073741886

块在哪台机器的信息:内存中

文件系统、数据库、HDFS的元数据、数据类比

fsimage与editlog在namenode进程重启时合并

edits_inprogress:当前被编辑的元数据信息


HDFS学习笔记.doc 将本文的Word文档下载到电脑
搜索更多关于: HDFS学习笔记 的文档
相关推荐
相关阅读
× 游客快捷下载通道(下载后可以自由复制和排版)

下载本文档需要支付 10

支付方式:

开通VIP包月会员 特价:29元/月

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信:xuecool-com QQ:370150219