酷酷的狐狸

摘要： springboot和springcloud的区别是什么？ springboot和springcloud的区别主要是:1.作用不同；前者的作用是为了提供一个默认配置，从而简化配置过程；后者的作用是为了给微服务提供一个综合管理框架。2.使用方式不同；前者可以单独使用；springcloud必须在spr 阅读全文

摘要： 一、merge 1.开发分支（dev）上的代码达到上线的标准后，要合并到 master 分支 git checkout dev git pull git checkout master git merge dev git push -u origin master 2.当master代码改动了，需要 阅读全文

摘要： 1.GC Overhead Limit Exceeded error Hadoop任务可能引起OOM错误的原因有很多。一般情况下，首先检查是否重设了hadoop参数：mapred.child.java.opts，一般设为-Xmx2000m，即使用2G的最大堆内存。Hive中可能引起OOM的原因及相关 阅读全文

摘要： 一、日期 TRUNC函数为指定元素而截去的日期值。 其具体的语法格式如下： TRUNC（date[,fmt]） 其中：date 一个日期值 fmt 日期格式，该日期将由指定的元素格式所截去。忽略它则由最近的日期截去 如果当日日期是：2011-3-18 select trunc(sysdate) fr 阅读全文

摘要： 执行顺序 from join on where group by (从此处开始可以使用select中指定的别名) avg、sum、max having select distinct order by 阅读全文

摘要： hive的分区排序 需求：对插入的数据分组，并且排序 案例实操： （1）先按照部门编号分区，再按照员工编号降序排序。 hive (default)> set mapreduce.job.reduces=3; hive (default)> insert overwrite local directo 阅读全文

摘要： flink1.11添加水位线 object UpdateWindowResultWithLateEvent { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvir 阅读全文

摘要： 1.向JDBC读数据 object SparkSQL02_Datasource { def main(args: Array[String]): Unit = { //创建上下文环境配置对象 val conf: SparkConf = new SparkConf().setMaster("local 阅读全文

摘要： 数据源test.json {"username": "zhangsan","age": 20} {"username": "lisi","age": 18} {"username": "wangwu","age": 16} 强类型及弱类型 DateFrame是弱类型，意思是数据只有二维结构，没有数据 阅读全文

摘要： datax自带的jdbc连接工具mysql-connector-java-5.1.34.jar自带bug，同步json数据时，会将中文转换为乱码，需要替换为较新版本，这里我替换为mysql-connector-java-5.1.49.jar，事情完美解决。 json数据中文乱码问题与useUnico 阅读全文