摘要：
Markdown是一种可以使用普通文本编辑器编写的标记语言，通过简单的标记语法，它可以使普通文本内容具有一定的格式，其目标是实现易读易写。我刚刚接触一款简单高效的Markdown编辑器–Typora，个人觉得非常好用，强烈推荐给大家。 一、Typora的优点简洁美观实时预览扩展语法跨平台免费 二、主 阅读全文
posted @ 2019-04-21 11:53
静悟生慧
阅读(1419)
评论(0)
推荐(0)
摘要：
Hive 分区介绍： hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition) hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。 分区列也不是表中的一个实际的 阅读全文
posted @ 2019-04-16 10:39
静悟生慧
阅读(5602)
评论(0)
推荐(1)
摘要：
COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。 比如我们要登记用户的电话，数据库中包含他的person_tel,home_ 阅读全文
posted @ 2019-04-15 20:22
静悟生慧
阅读(39997)
评论(0)
推荐(1)
摘要：
一、行转列的使用 １、问题 hive如何将 a b 1a b 2a b 3c d 4c d 5c d 6 变为： a b 1,2,3c d 4,5,6 ２、数据 test.txt a b 1 a b 2 a b 3 c d 4 c d 5 c d 6 ３、答案 1.建表 2.处理 二、列转行 １、问 阅读全文
posted @ 2019-04-12 14:30
静悟生慧
阅读(7085)
评论(0)
推荐(0)
摘要：
使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 2、建立一张分 阅读全文
posted @ 2019-04-03 19:47
静悟生慧
阅读(4391)
评论(0)
推荐(0)
摘要：
一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.e 阅读全文
posted @ 2019-04-03 15:09
静悟生慧
阅读(324)
评论(0)
推荐(0)
摘要：
一、简介 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用 阅读全文
posted @ 2019-04-03 14:59
静悟生慧
阅读(374)
评论(0)
推荐(0)
摘要：
概述 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 GROUPING SETS和GROUPING__ID 说明 在一个GROUP BY查询中，根据不同 阅读全文
posted @ 2019-04-03 13:26
静悟生慧
阅读(49462)
评论(2)
推荐(4)
摘要：
https://www.kaggle.com/c/google-ai-open-images-object-detection-track#Evaluation Submissions are evaluated by computing mean Average Precision (AP), m 阅读全文
posted @ 2019-04-02 20:49
静悟生慧
阅读(1252)
评论(0)
推荐(0)
摘要：
Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至是一些商业 阅读全文
posted @ 2019-03-29 12:21
静悟生慧
阅读(995)
评论(0)
推荐(0)
浙公网安备 33010602011771号