javazyh

摘要： 1.函数柯里化和闭包 柯里化： 将一个接受多个参数的函数转换成一个接受一个参数的函数过程。 阅读全文

摘要： 1.分布式流处理的基本模型 逻辑模型： 一个source 一个operation 一个sink 物理模型： 多个source对应多个operation一个sink 不同节点直接的数据传输需要接触到网络 2.流的基本操作 单条流的操作： map 两条流的操作： connect：connectedstr 阅读全文

摘要： flink入门 1.有状态流式处理引擎的基石 流式处理：每条流数据都经过你编写的代码进行处理 分散式流式处理：保证流式数据相同的key到同一个计算实例上 有状态分散式流式处理：状态会跟着流数据把相同的key分到同一个计算实例上，并且会对状态进行叠加， 当key非常多的时候，状态可能会非常大，所以需要 阅读全文

摘要： 1.把输入字符串时间转换为时间戳 val str="2020-06-01 14:21:42" val format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") val timeStamp: Long = format.parse(str).getTim 阅读全文

摘要： 1.变量和数据类型 1.1 变量 1.1.1 scala中有类型自动推断的功能，也就是定义变量的时候不需要指定类型 var 类型定义的变量的是可变的，val类型定义的变量是不可变的， var age = 18 age="tom"//错误 scala中的变量类型确定之后不能再修改了 var num1 阅读全文

摘要： 1.拉取代码比较简单，直接点击pull就可以 2.推送代码到github需要在commit的时候注意 2.1先点击commit 2.2 再弹出的框中需要点击commit&push 2.3 选中刚刚提交的版本我的是 windows1 2.4 点击push即可完成，这次你的github中有内容了，本地仓 阅读全文

摘要： 1.先在本机安装git，不管是mac还是Windows都安装，安装很简单，直接下载一路傻瓜式安装就行，不需要任何配置 GIT 下载地址：https://git-scm.com/download 2.在IDEA中配置GitHub和Git的信息 2.1 配置git 其实git这块的配置idea已经有了你 阅读全文

摘要： 在使用yarn-session模式启动flink总是说找不到hadoop配置文件， 原因： 1.有可能是没有配置HADOOP_HOME环境变量，可以 echo $HADOOP_HOME，如果输出正确说明没问题，看第二步 2.在flink的lib目录下缺少了jar包 下载地址： 链接：https:// 阅读全文

摘要： 原因：创建数据的时候选择了utf8-bin编码，导致spark sql自动创建库时存入的string类型为二进制类型 解决：使用utf8-general-ci编码 编码的区别：https://www.jb51.net/article/48775.htm 阅读全文

摘要： 看ApacheKafka源码解析书的时候，发现编译完成运行的kafka无论如何都打印不出日志，需要创建一个resources文件夹，并且变为resouces属性，把log4j.properties放入到resouces下即可，注意：resouces要和scala在同一层级。 还有其他的坑：坑1：如果 阅读全文