摘要：
https://blog.csdn.net/csdnsjg/article/details/80152815 https://jingyan.baidu.com/article/219f4bf798e0cfde442d3831.html 类似spring 、 maven 这类插件，需要再eclips 阅读全文
posted @ 2018-08-01 21:27
静悟生慧
阅读(576)
评论(0)
推荐(0)
摘要：
1、windows 下Java 环境的安装和配置： 下载jdk并安装 配置环境变量： (1) 新建JAVA_HOME环境变量，赋值为JDK的安装目录： (2) 新建CLASSPATH环境变量，赋值为.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; 阅读全文
posted @ 2018-07-31 19:38
静悟生慧
阅读(501)
评论(0)
推荐(0)
摘要：
http://www.aboutyun.com/thread-14942-1-1.html 问题导读 1、Hive查询语句和SQL查询语句区别与联系。 2、distribute by、group by和Sort by的区别。 3、MapJoin的优缺点是什么？ 聚合函数 1.count计数 count(*)：不全都是NULL，就加1；count(1):当只要有一列是NULL就不会加1；c... 阅读全文
posted @ 2018-07-30 17:02
静悟生慧
阅读(1219)
评论(0)
推荐(0)
摘要：
不知不觉，已经在公司呆了快一个月了。 这一个月主要的任务就是熟悉工作中经常会用到的开发平台、语言，以及将要介入的项目的一些基础业务知识。在最后的几天，开始做一些简单的开发任务。 主要说说感受吧。刚开始工作，发现身边的同事对于工作都很投入，而且大家在某一方面的技术能力也特别出色。在这么多牛人中间，自己 阅读全文
posted @ 2018-07-27 20:34
静悟生慧
阅读(198)
评论(0)
推荐(0)
摘要：
select * into 新表名 from (select * from T1 union all select * from T2) 这个语句可以实现将合并的数据追加到一个新表中。 不合并重复数据 select * from T1 union all select * from T2 合并重复数 阅读全文
posted @ 2018-07-27 09:19
静悟生慧
阅读(5921)
评论(0)
推荐(0)
摘要：
用户画像（UserProfile） 也叫用户信息标签化、客户标签；从电商的角度看，根据你在电商网站上所填的信息和你的行为，可以用一些标签把你描绘出来，描述你的标签就是用户画像。 构建用户画像技术 用户画像：基本属性、购买能力、行为特征、社交网络、心理特征、兴趣爱好 行为建模：文本挖掘、自然语言处理、 阅读全文
posted @ 2018-07-26 18:14
静悟生慧
阅读(665)
评论(0)
推荐(0)
摘要：
Hive虽然强大，但是我们遇到的业务需求必定是千奇百怪的。 在做日志解析的时候，我们会遇到访客，和访次的概念。 对于在2个小时之内的访问，我们认为是访问一次，对于两个小时之外的访问，我们认定是再次访问。 也就是是说，最新一次访问，与上一次访问之间间隔超过2个小时，则算是第二次访问。 用Hive来做过 阅读全文
posted @ 2018-07-26 18:01
静悟生慧
阅读(1027)
评论(0)
推荐(0)
摘要：
--Hive中日期函数总结: --1.时间戳函数 --日期转时间戳：从1970-01-01 00:00:00 UTC到指定时间的秒数 select unix_timestamp(); --获得当前时区的UNIX时间戳 select unix_timestamp('2017-09-15 14:23:0 阅读全文
posted @ 2018-07-26 16:00
静悟生慧
阅读(498)
评论(0)
推荐(0)
摘要：
Expression not in GROUP BY key ‘ xxx’ 遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。 执行以下hive ql语句： 1 2 3 4 5 6 SELECT sid, class_id FROM tabl 阅读全文
posted @ 2018-07-26 12:34
静悟生慧
阅读(5427)
评论(0)
推荐(0)
摘要：
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQL 但是，如果我想在reduce阶段对每天的uid形成一个列表，进行排序并输出，这在Hive中没有现成的功能。那么，可以自写脚本 阅读全文
posted @ 2018-07-24 18:08
静悟生慧
阅读(2314)
评论(0)
推荐(0)
浙公网安备 33010602011771号