落霞与孤鹜齐飞

摘要： 1.If函数:if和case差不多，都是处理单个列的查询结果 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull 举例：if（条件表达式，结果1，结果2）相当于java中的三目运算符... 阅读全文

摘要： 在MapReducer插入mysql 遇到了 Incorrect string value: '\xF0\x9F\x98\xAD",...' for column 'commentContent' at row 1 的问题 因为数据中存在表情符号 处理办法： 先修改 mysql 字段编码 在修改数据 阅读全文

摘要： 指定定时任务 sh手动执行成功 ，contab执行失败 在脚本中添加 source /ect/profile 刷新一下环境变量 阅读全文

摘要： 第三种 打依赖包 将依赖其他jar的包都打进去 maven-assembly-plugin 2.4 src/main/assembly/src.xml ... 阅读全文

摘要： select col1,col2,concat_ws(',',collect_set(col3)) from tmp_bsf_test group by col1,col2; create table tmp_bsf_test1 ( col1 string, col2 string, col3 string ) row format delimited fields terminated ... 阅读全文

摘要： 数据结果 阅读全文

摘要： dataframe增加index主键列 阅读全文

摘要： hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结构化或非结构数据构建了层层的索引） 为存储在hdfs上的海量... 阅读全文

摘要： public class LinklistReverse { //定义类节点类 封装节点信息 static class Node { private int value; private Node next; public Node(int value) { this.value = value; ... 阅读全文

摘要： 1.实时插入mysql时遇到的问题，使用的updateStaeBykey有状态的算子 必须设置checkpoint 如果报错直接删掉checkpoint 在创建的时候自己保存偏移量即可 再次启动时读取正确偏移量就行了 管他checkpoint 无关的事了 实时插入时有个问题是怎么进行mysql的数据 阅读全文