彬在俊

摘要： 1. 第一步检测语法是否正确 @Value("${hdfs.name}")private String hdfs; 2.第二步检测配置文件中是否有进行配置（application.properties） hdfs.name=jilin 3.第三步检测是否增加了@Component注解 注意：在spr 阅读全文

摘要： 首先，Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终 阅读全文

摘要： 需求： 孙悟空 白羊座 A沙悟净 射手座 A宋松松 白羊座 B猪八戒 白羊座 A小凤姐 射手座 A 转换成以下格式： 白羊座，A 孙悟空|猪八戒白羊座，B 宋松松射手座，A 沙悟净|小凤姐 思路：表的行转列 知识点：concat(string1,string2) string1和string2需要是 阅读全文

摘要： 需求： 《疑犯》 悬疑,动作,科幻,爱情《lie to me》 悬疑,警匪,动作,心理,剧情《战狼》 战争,动作,灾难 转成如下格式： 《疑犯》 悬疑《疑犯》 动作《疑犯》 科幻《疑犯》 爱情《lie to me》 悬疑《lie to me》 警匪《lie to me》 动作《lie to me》 阅读全文

摘要： java编译器把Unreachable　statement标记为运行时错误，一个Unreachable　statement就是编译器决定永远不会执行它。 下面的几种情况会出现 Unreachable statement： （0）在while（true）循环后面 （1）在reutrn语句后写语句。 （ 阅读全文

摘要： 作为数据分析中经常进行的join 操作，传统DBMS 数据库已经将各种算法优化到了极致，而对于hadoop 使用的mapreduce 所进行的join 操作，去年开始也是有各种不同的算法论文出现，讨论各种算法的适用场景和取舍条件，本文讨论hive 中出现的几种join 优化，然后讨论其他算法实现，希 阅读全文

摘要： 1、order by hive中的order by 会对查询结果集执行一个全局排序，这也就是说所有的数据都通过一个reduce进行处理的过程，对于大数据集，这个过程将消耗很大的时间来执行。 2、sort by hive的sort by 也就是执行一个局部排序过程。这可以保证每个reduce的输出数据 阅读全文

摘要： 前言：我们在学习hive窗口函数的时候，一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法，如果这样做，永远也掌握不到窗口函数的核心，当然我刚开始的时候也是这样做的。 还好我比较顽强，在HIVE窗口函数问 阅读全文

摘要： 1.函数说明 主要是配合over()窗口函数来使用的，通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序，有两个第二名时接下来就是第四名（同样是在各个分组内） 2. dense_rank() over()是连续排序，有两个第二 阅读全文

摘要： Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 create external table movie( userID int comment '用户ID', movieID int comment '电影ID', rating int co 阅读全文