RICH-ATONE

2022年9月2日 #

Shell命令往Kafka发送数据示例

摘要：启动发送命令： hdfs dfs -cat /user/pirate/warehouse/3_415/* | head -10 | ./bin/kafka-console-producer.sh --broker-list ip:9092 --topic mytest 启动消费命令： ./bin/k 阅读全文

posted @ 2022-09-02 11:26 RICH-ATONE 阅读(490) 评论(0) 推荐(0)

2022年8月30日 #

Shell操作MySql数据库

摘要： Shell操作MySql数据库阅读全文

posted @ 2022-08-30 11:16 RICH-ATONE 阅读(60) 评论(0) 推荐(0)

2022年8月22日 #

Presto与Hive语法差异

摘要： Presto与Hive的语法差异示例： Presto Hive 备注数组数组有动态下标，下标从1开始下标从0开始标识符不能以数字开头命名，与java保持一致无 string varchar string 运算 5/2=2 （presto取整） 5/2=2.5 （hive自动转换为小数点类阅读全文

posted @ 2022-08-22 19:39 RICH-ATONE 阅读(484) 评论(0) 推荐(0)

2022年8月3日 #

clickhouse left join产生的空值或者默认值问题解析

摘要：建表语句： CREATE TABLE default.mt_table ( `date` Date, `id` UInt8, `name` String ) ENGINE = MergeTree(date, (id, name), 8192) 插入数据： insert into mt_table ( 阅读全文

posted @ 2022-08-03 15:33 RICH-ATONE 阅读(2337) 评论(0) 推荐(1)

2022年7月26日 #

产品分析（游戏）

摘要：数数博客（数数科技数据分析产品借鉴参考）数据产品_数数科技篇-游戏数据采集体系&埋点设计阅读全文

posted @ 2022-07-26 15:11 RICH-ATONE 阅读(79) 评论(0) 推荐(0)

2022年7月22日 #

clickhosue 分布式表创建示例

摘要：示例： create table test.test_local on cluster cluster_3shards_2replicas( tracker_channel String, campaign String, os String, state String, install_adid 阅读全文

posted @ 2022-07-22 19:29 RICH-ATONE 阅读(191) 评论(0) 推荐(0)

2022年7月20日 #

Flink实时数仓

摘要： Flink实时数仓阅读全文

posted @ 2022-07-20 14:22 RICH-ATONE 阅读(106) 评论(0) 推荐(0)

2022年7月15日 #

hadoop对hdfs上文件中的字符进行替换

摘要： 1、书写MapReduce 代码进行替换 2、通过shell脚本进行提换（比如sed进行替换）参考： hadoop对文本中字符替换替换HDFS中的control-m字符阅读全文

posted @ 2022-07-15 19:20 RICH-ATONE 阅读(367) 评论(0) 推荐(0)

grep命令详解

摘要：示例： -i：代表不区分大小写； -r：代表递归整个目录； --color：代表高亮显示 *：代表当前目录； grep -ir --color "cc" * -E ：开启扩展（Extend）的正则表达式。 -i ：忽略大小写（ignore case）。 -v ：反过来（invert），只打印没有匹配阅读全文

posted @ 2022-07-15 19:14 RICH-ATONE 阅读(1388) 评论(0) 推荐(1)

2022年7月6日 #

shell脚本或客户端for循环命令，查看各个机器的进程情况

摘要：示例：建立临时文件，存放机器IP； vim list：并添加如下测试IP 192.168.2.21 192.168.2.22 192.168.2.24 192.168.2.26 查看以上机器的java进程： for i in `cat /home/pirate/list`;do echo $i; s 阅读全文

posted @ 2022-07-06 18:59 RICH-ATONE 阅读(247) 评论(0) 推荐(0)