摘要: Python操作HDFS In [2]: from hdfs.client import Client 链接hdfs服务器¶ In [3]: client = Client("http://192.168.220.129:50070") 创建文件夹¶ In [7]: client.makedirs( 阅读全文
posted @ 2021-09-30 15:22 加油!!程序员 阅读(777) 评论(0) 推荐(0)
摘要: Hive和HDFS关系¶ hive可以将hdfs中结构化的文件转换为类似数据库表的结构,这样就可以和查询数据库一样查询hdfs文件信息 Hive,实际上就是一个编译器,一个翻译机。把SQL翻译成MapReduce之类的作业。目前的Hive除了支持在MapReduce上执行,还支持在Spark和Tez 阅读全文
posted @ 2021-09-30 15:15 加油!!程序员 阅读(66) 评论(0) 推荐(0)
摘要: 环境准备 虚拟机学习方式(网络建议使用NAT进行联网) 时间同步 查看各个机器时间:date 同步时间 方法一:date -s "2021-09-09 11:00:01" 方法二:ntpdate cn.pool.ntp.org 采用网络时间,如果没有,采用yun install ntpdate安装 阅读全文
posted @ 2021-09-30 15:08 加油!!程序员 阅读(44) 评论(0) 推荐(0)