随笔分类 -  hive

摘要:Apache Flume是一个将大规模数据导入HDFS的工具,典型的应用是从另一个系统中收集日志数据。通过管道方式将数据写入Flume,再通过Flume将事件写入HDFS中。 Flume提供了不通级别的数据投递可靠性,如最大努力投递,在多个Flume节点失效的情况下成功投递。 Apache Sqoo 阅读全文
posted @ 2017-07-02 21:33 erererer
摘要:1、在hive中知道一个表的存储路径可以通过hive命令 desc formatted table_name 显示表的详细信息; 2、然后找到该表的存储路径 "Location: " "hdfs://nameservice/user/*" 3、利用hadoop fs -du -s -h locati 阅读全文
posted @ 2017-06-16 20:38 erererer 阅读(7450) 评论(0) 推荐(0)