博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop学习2----HDFS操作
阅读量:4708 次
发布时间:2019-06-10

本文共 894 字,大约阅读时间需要 2 分钟。

运行结果附图

课程内容为HDFS的基本操作和HUE页面的使用主要是HDFS的基本命令。

对于文件的操作,命令与linux的类似,但是要在前面加上hadoop fs

其基本的格式为 hadoop fs <agrs>

  1. 查看文件 hadoop fs -ls

    ls

    可以看到data文件夹下只有一个文件夹test

  2. 建立路径 hadoop fs -mkdir

    现在再在data下建立一个文件夹 test1

    需要先解除安全模式,再建立文件夹

    2015-03-29 11:30:21 的屏幕截图

    继续在test1下建立文件夹 test11

    2015-03-29 11:29:51 的屏幕截图

  3. 删除文件夹 hadoop fs -rm -r

    -r参数代表将此文件夹连同此文件夹下的所有文件删除

    2015-03-29 11:27:09 的屏幕截图

  4. 将本地文件放到HDFS上 hadoop fs -put [dir1][dir2]

    参数dir1代表本地路径,dir2代表HDFS路径

    本地的home下的两个文件 text1 和 wordcount 放到HDFS中的/data/test中

    2015-03-29 11:38:08 的屏幕截图

  5. 将HDFS上的文件下载到本地 hadoop fs -get [dir1][dir2]

    参数dir1代表HDFS路径,dir2代表本地路径

    2015-03-29 11:43:44 的屏幕截图

  6. 查看文件 hadoop fs -cat

    text1和wordcount的内容

    2015-03-29 11:40:09 的屏幕截图

  7. 合并HDFS中的文件并下载到本地 hadoop fs -getmerge [dir] [file]

    参数dir代表HDFS存储要合并的文件所在的路径,file代表将合并结果存储的本地文件名

    text1和wordcount合并后的内容

    2015-03-29 12:26:50 的屏幕截图

  8. 使用HUE,service hue start

    端口为8888,用户名密码都是hdfs

    2015-03-29 11:48:05 的屏幕截图

  9. 打开FileBrowser 界面 上面基本的对文件夹的操作都有按钮选项,如新建文件,文件夹,删除文件

    进入刚刚操作的目录 /data/test下

    2015-03-29 11:52:34 的屏幕截图

  10. 点击文件wordcount 在左边栏有对该文件的基本操作选项

    2015-03-29 11:53:45 的屏幕截图

问题、心得与体会记录

HDFS的命令操作较为简单基本,多加练习即可熟练操作,HUE的界面功能丰富,在web页面上直接操作更加直观。

转载于:https://www.cnblogs.com/ivywenyuan/p/4579363.html

你可能感兴趣的文章
Navicat远程连接阿里云服务器的mysql
查看>>
RTP Payload Format for Transport of MPEG-4 Elementary Streams over http
查看>>
Java环境变量设置
查看>>
【JBPM4】判断节点decision 方法3 handler
查看>>
filter 过滤器(监听)
查看>>
node启动时, listen EADDRINUSE 报错;
查看>>
杭电3466————DP之01背包(对状态转移方程的更新理解)
查看>>
python--注释
查看>>
SQL case when else
查看>>
SYS_CONTEXT 详细用法
查看>>
Pycharm配置autopep8让Python代码更符合pep8规范
查看>>
我的第一篇博客
查看>>
【C++算法与数据结构学习笔记------单链表实现多项式】
查看>>
C#垃圾回收机制
查看>>
31、任务三十一——表单联动
查看>>
python之hasattr、getattr和setattr函数
查看>>
maven使用阿里镜像配置文件
查看>>
Copy code from eclipse to word, save syntax.
查看>>
arguments.callee的作用及替换方案
查看>>
Centos 6.5下的OPENJDK卸载和SUN的JDK安装、环境变量配置
查看>>