摘要：
Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。 与Hive 阅读全文
posted @ 2017-04-29 14:45
大数据和AI躺过的坑
阅读(74192)
评论(6)
推荐(7)
摘要：
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Quer 阅读全文
posted @ 2017-04-29 14:42
大数据和AI躺过的坑
阅读(1770)
评论(0)
推荐(0)
摘要：
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impal 阅读全文
posted @ 2017-04-29 14:36
大数据和AI躺过的坑
阅读(4173)
评论(0)
推荐(1)
摘要：
Spark MLlib架构解析 MLlib的底层基础解析 MLlib的算法库分析 分类算法 回归算法 聚类算法 协同过滤 MLlib的实用程序分析 分类算法 回归算法 聚类算法 协同过滤 从架构图可以看出MLlib主要包含三个部分： 底层基础：包括Spark的运行库、矩阵库和向量库； 算法库：包含广 阅读全文
posted @ 2017-04-29 14:23
大数据和AI躺过的坑
阅读(7983)
评论(0)
推荐(1)
摘要：
不多说，因最近科研的需要，为此从hadoop和spark领域，得结合机器学习/深度学习。为此，给大家带来进一步的干货！ 1、机器学习概念 1.1 机器学习的定义 1.2 机器学习的分类 1.2.1 监督学习 1.2.2 无监督学习 1.2.3 半监督学习 1.2.4 强化学习 1.3 机器学习的常见 阅读全文
posted @ 2017-04-29 13:44
大数据和AI躺过的坑
阅读(990)
评论(0)
推荐(0)
摘要：
storage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase，分布式存储等。 Master是管理协调Agent和Collector的配置等信息，是flume集群的控制器。 阅读全文
posted @ 2017-04-29 12:54
大数据和AI躺过的坑
阅读(482)
评论(0)
推荐(0)
摘要：
Collector的作用是将多个Agent的数据汇总后，加载到Storage中。它的source和sink与agent类似。 数据源（source），如： collectorSource[(port)]：Collector source，监听端口汇聚数据。 autoCollectorSource：通 阅读全文
posted @ 2017-04-29 12:53
大数据和AI躺过的坑
阅读(1155)
评论(0)
推荐(0)
摘要：
Flume的sink console[("format")] ：直接将将数据显示在consolr上。 text(“txtfile”)：将数据写到文件txtfile中。 dfs(“dfsfile”)：将数据写到HDFS上的dfsfile文件中。 syslogTcp(“host”,port)：将数据通过 阅读全文
posted @ 2017-04-29 12:51
大数据和AI躺过的坑
阅读(1067)
评论(0)
推荐(0)
摘要：
Flume NG传输的数据的基本单位是event，如果是文本文件，通常是一行记录，这也是事务的基本单位。 阅读全文
posted @ 2017-04-29 12:47
大数据和AI躺过的坑
阅读(697)
评论(0)
推荐(0)
摘要：
Flume的Agent text(“filename”)：将文件filename作为数据源，按行发送 tail(“filename”)：探测filename新产生的数据，按行发送出去 fsyslogTcp(5140)：监听TCP的5140端口，并且接收到的数据发送出去 tailDir(“dirnam 阅读全文
posted @ 2017-04-29 12:46
大数据和AI躺过的坑
阅读(1092)
评论(0)
推荐(0)
浙公网安备 33010602011771号