09 2021 档案

Spark_Sql pivot函数
摘要：CREATE TABLE test_order_info (uname STRING, product STRING, age INT, city string, amount decimal); INSERT INTO test_order_info VALUES ( 'zhang3' , 'tv 阅读全文
posted @ 2021-09-29 16:52 超级无敌小剑 阅读(1655) 评论(0) 推荐(1)
数据采集案例(Flume+Kafka)
摘要：架构图 hdfs sinks需要注意零点漂移问题和小文件问题 数据采集案例 第一层采集:将数据从log日志文件采集到的kafka中 使用kafka channel #file-flume-kafka.conf #agent a1.sources = r1 a1.channels = c1 #a1.s 阅读全文
posted @ 2021-09-28 18:23 超级无敌小剑 阅读(776) 评论(0) 推荐(0)
HiveSql题
摘要：题目一已知条件如下:用户表(t_user)uid int 用户 id订单表(t_order)oid int订单IDuid int用户IDotime date订单时间oamount int订单金额其中用户表和订单表是一对多的关系结果集要求:(标准SQL/HIVE 或者其他脚本）计算在2017年1月下过 阅读全文
posted @ 2021-09-22 16:20 超级无敌小剑 阅读(187) 评论(0) 推荐(0)
FlinkCDC
摘要：1.CDC工具的种类 CDC主要分为基于查询和基于Binlog两种方式，这两种之间的区别： 基于查询的CDC 基于Binlog的CDC 开源产品 Sqoop、Kafka JDBC Source Canal、Maxwell、Debezium 执行模式 Batch Streaming 是否可以捕获所有数 阅读全文
posted @ 2021-09-21 16:35 超级无敌小剑 阅读(7835) 评论(0) 推荐(1)
数据实时增量同步工具CDC之Maxwell和Canal
摘要：1.什么是CDC? CDC是Change Data Capture(变更数据获取)的简称。可以基于增量日志，以极低的侵入性来完成增量数据捕获的工作。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅 阅读全文
posted @ 2021-09-21 16:09 超级无敌小剑 阅读(6411) 评论(0) 推荐(1)
布隆过滤器
摘要：布隆过滤器_转载 最佳实践 常见的使用场景有，利用布隆过滤器减少磁盘 IO 或者网络请求，因为一旦一个值必定不存在的话，我们可以不用进行后续昂贵的查询请求。 另外，既然你使用布隆过滤器来加速查找和判断是否存在，那么性能很低的哈希函数不是个好选择，推荐 MurmurHash、Fnv 这些。 大Valu 阅读全文
posted @ 2021-09-10 20:54 超级无敌小剑 阅读(80) 评论(0) 推荐(0)
Nginx简述
摘要：1 Nginx Nginx("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好. 2.正向代理和反向代理 正向代理类似一个跳板机，代理访问外部资源. 用户-->代理服务器-->要访问的网站 反向代 阅读全文
posted @ 2021-09-10 20:51 超级无敌小剑 阅读(116) 评论(0) 推荐(0)