摘要: 最近一次在合并代码分支的时候,切换到uat分支后,就莫名出现有些代码找不到类,而且点进去一个类就会报红。 造成的原因就是电脑在切换分支后,有时候会反应不过来,造成缓存错乱。 解决方法就是清除idea缓存,重启IDEA。 阅读全文
posted @ 2021-01-21 14:09 会飞的猪、zr 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 本人在准备看flink某一方法的源码是出现下载不了的问题,报错日志如下: java.rmi.ConnectException: Connection refused to host: 127.0.0.1; nested exc java.net.ConnectException: Connectio 阅读全文
posted @ 2020-09-21 17:19 会飞的猪、zr 阅读(3105) 评论(0) 推荐(0) 编辑
摘要: Canal是阿里的开源工具,用于同步MySQL数据库变更。 可以监听数据库的变化,从而获取新增数据,或者修改的数据。 Canal在项目中用于数据增量同步操作,可以将数据同步到redis,其他MySQL,ES等。 mysql主从复制实现: 主服务器将更改记录到binlog中(这些记录称为binlog事 阅读全文
posted @ 2020-07-13 12:55 会飞的猪、zr 阅读(345) 评论(0) 推荐(0) 编辑
摘要: kafka的ISR机制被成为“不丢消息”机制。在说ISR机制前,先讲一下kafka的副本(replica)。 kafka的Replica 1.kafka的topic可以设置有N个副本(replica),副本数最好要小于broker的数量,也就是要保证一个broker上的replica最多有一个,所以 阅读全文
posted @ 2020-06-27 17:29 会飞的猪、zr 阅读(15925) 评论(0) 推荐(1) 编辑
摘要: Data streaming转为DataFrame,不能直接一步转到DF,需要先转为RDD,然后再转到DF,我们用流式处理数据后,再通过spark sql实时获取我们想要的结果。 1.首先老规矩,创建spark上下文对象,spark SQL和spark Streaming,再创建个socket在Li 阅读全文
posted @ 2020-06-10 22:08 会飞的猪、zr 阅读(922) 评论(0) 推荐(0) 编辑
摘要: 用spark streamming统计单词数量时,reduceBykey只会统计局部的单词数量,每个batch的每个单词的数量,而不能统计每个key所有value值。 所以想要统计全局key的value值,就必须加入有状态计算updataStatusBykey,更新每一个key的状态。 在计算单词数 阅读全文
posted @ 2020-06-09 22:15 会飞的猪、zr 阅读(512) 评论(0) 推荐(0) 编辑
摘要: SQL语句在工作中必不可少,所有在实现功能的基础上进行优化是提升价值的关键所在。 1.在进行查询过程中,尽可能的避免全表扫描,并且考虑在where和order by所涉及的列建立索引。 SELECT * FROM customer WHERE name ='阿爆' ; CREATE UNIQUE I 阅读全文
posted @ 2020-06-09 17:16 会飞的猪、zr 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 在Spark1.6版本中,试图为RDD,DataFrame提供一个新的实验性接口Dataset api接口,所以从范围来说,下面这张图能表明: Dataframe是Dataset的row类型。 RDD 是弹性的分布式数据集。 1.懒执行且不可变,支持lambda表达式的并行数据集合 2.面向对象的编 阅读全文
posted @ 2020-06-09 17:15 会飞的猪、zr 阅读(86) 评论(0) 推荐(0) 编辑
摘要: HBaseAdmin是一个类表示管理,通过这个类可执行管理角色。HBaseAdmin这个类属于org.apache.hadoop.hbase.client包。 创建HBaseAdim实例 获取表实例 创建列簇描述 向表描述中加载列簇 调用HBaseAdmin创建表 后面可以通过HBaseAdmin对 阅读全文
posted @ 2020-06-09 17:13 会飞的猪、zr 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 1.创建一个scan扫描对象 2. scan对象中有setStartRow方法和setStopRow方法,分别指向开始扫描的rowkey和结束扫描的rowkey 3.scan对象中的addColumn方法指向所要查询的列簇中的某个列 要注意点是在指向同一列簇中的列时,要按照字典顺序指定,如果跳着指定 阅读全文
posted @ 2020-06-09 17:12 会飞的猪、zr 阅读(351) 评论(0) 推荐(0) 编辑