摘要: 一、参数介绍 作业模式:yarn-per-job 基本参数 描述 -ynm(Custom Yarnname) 自定义的Yarn名字 -yqu 指定Yarn队列名 -yn (TaskManager) Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个Ta 阅读全文
posted @ 2021-09-10 16:54 Robots2 阅读(2573) 评论(0) 推荐(0)
摘要: 一、查看文件 1、查看目录下文件 hdfs dfs -ls /user/hadoopDemo 2、查看文件内容 hdfs dfs -cat /user/hadoopDemo/hadoop/output hdfs dfs -text /user/hive/47-0000000001407771492 阅读全文
posted @ 2021-09-07 19:57 Robots2 阅读(473) 评论(0) 推荐(0)
摘要: 一、修改表结构 1、添加删除分区 添加分区:alter table app.app_tabe1 add if not exists partition(dt = '20210621', hour = '17'); 删除分区:alter table app.app_tab1 drop partitio 阅读全文
posted @ 2021-09-02 20:48 Robots2 阅读(129) 评论(0) 推荐(0)
摘要: 一、下载安装 sudo apt-get install mysql-server 二、初始化配置 查看密码:sudo more /etc/mysql/debian.cnf 连接:mysql -uroot -h 127.0.0.1 -p 修改初始密码: use mysql; update mysql. 阅读全文
posted @ 2021-08-30 21:01 Robots2 阅读(220) 评论(0) 推荐(0)
摘要: 一、建表语句 create table target_tab( version_flag bigint comment '版本标签 2:web延迟 3ios直播延迟 4安卓直播延迟', query_version string comment '查询版本号', is_video int commen 阅读全文
posted @ 2021-08-26 15:28 Robots2 阅读(29) 评论(0) 推荐(0)
摘要: 一、建表语句 create table dws_bhv_habo_measure_lostrate_mb_di( version_flag bigint comment '版本标签 2:web丢失 3ios直播丢失 4安卓直播丢失', query_version string comment '查询 阅读全文
posted @ 2021-08-26 15:25 Robots2 阅读(119) 评论(0) 推荐(0)
摘要: 模型代码,解析json和打标签 一、建表语句 create table target_tab( event_time bigint comment '事件时间', event_timestamp bigint comment '事件时间戳', video_time bigint comment '直 阅读全文
posted @ 2021-08-26 15:21 Robots2 阅读(144) 评论(0) 推荐(0)
摘要: 一、索引 1、查看表索引 show keys from test_table 2、删除索引或唯一约束UNIQUE KEY drop index crisis_id on test_table; ALTER TABLE test_tab1 DROP KEY udx_entry_pk_id_creato 阅读全文
posted @ 2021-08-12 10:45 Robots2 阅读(107) 评论(0) 推荐(0)
摘要: 一、常用名词 1、Slot:处理槽,一般为服务器核数*4,平分服务器内存 2、Window:时间窗口 滚动窗口(Tumbling Window)将事件拆分成固定长度,窗口之间不重叠,窗口长度固定 例:每10s统计过去10s订单数据 滑动窗口(Sliding Window)按照滑动步长拆分成固定长度, 阅读全文
posted @ 2021-08-06 10:13 Robots2 阅读(346) 评论(0) 推荐(0)
摘要: 一、常用指令 1、Vim (1)命令行模式 :wq 保存退出 :q! 不保留强制退出控制台 :q 退出控制台 u 恢复上一次操作 set nu 列出行号 :5 跳到第5行 /搜索内容 n搜索下一个 1$ 移动到当前行行尾 0 移动到当前行行首 (2)插入模式 i 开始编辑,从当前位置输入文字 a 开 阅读全文
posted @ 2021-08-05 17:37 Robots2 阅读(171) 评论(0) 推荐(0)