2019年3月13日
大数据基础之Logstash（2）应用之mysql-kafka
摘要： 应用一：mysql数据增量同步到kafka 1 准备mysql测试表 mysql> create table test_sync(id int not null auto_increment, name varchar(32), description varchar(64), create_tim 阅读全文
posted @ 2019-03-13 22:41 匠人先生 阅读(744) 评论(0) 推荐(1)
大叔经验分享（39）spark cache unpersist级联操作
摘要： 问题：spark中如果有两个DataFrame（或者DataSet），DataFrameA依赖DataFrameB，并且两个DataFrame都进行了cache，将DataFrameB unpersist之后，DataFrameA的cache也会失效，官方解释如下： When invalidatin 阅读全文
posted @ 2019-03-13 17:52 匠人先生 阅读(1622) 评论(0) 推荐(0)
Linux基础之文件编码
摘要： 查看 1 vi $ vi $file:set fileencoding 2 file $ file $file 修改 1 vi $ vi $file:set fileencoding=utf-8 2 iconv # iconv -l # iconv -f gbk -t utf8 /path/to/f 阅读全文
posted @ 2019-03-13 16:12 匠人先生 阅读(173) 评论(0) 推荐(0)