09 2020 档案

Hive项目经验
摘要：1.hive的数据传输 Hive 中的 Null 在底层是以“\N”来存储，而 MySQL 中的 Null 在底层就是 Null，为了 保证数据两端的一致性。在导出数据时采用--input-null-string 和--input-null-non-string 两个参 数。导入数据时采用--nul 阅读全文
posted @ 2020-09-13 21:59 小小分析猿 阅读(287) 评论(0) 推荐(0)
Flume项目经验
摘要：1.Channel的选择 memory channel 速度快，但可能会造成数据丢失 file channel 不会造成数据丢失，安全性高，但速度相对较慢 也可以选择kafka channel ，省去了sink 阶段，提高传输效率 2.FileChannel 优化 通过配置 dataDirs 指向多 阅读全文
posted @ 2020-09-13 21:51 小小分析猿 阅读(270) 评论(0) 推荐(0)
Kafka项目经验
摘要：1.Kafka 压测 用 Kafka 官方自带的脚本，对 Kafka 进行压测。Kafka 压测时，可以查看到哪个地方出 现了瓶颈（CPU，内存，网络 IO）。一般都是网络 IO 达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.s 阅读全文
posted @ 2020-09-13 21:36 小小分析猿 阅读(229) 评论(0) 推荐(0)
azkaban can not run program "xxxx"
摘要：注意看后面的报错类型 1.文件不存在 -- 在对应服务器添加文件 2. 文件没有执行权限 -- chmod 777 xxx 3.文件格式不是unix -- 在notepad++ 将文件改成unix 阅读全文
posted @ 2020-09-08 21:59 小小分析猿 阅读(237) 评论(0) 推荐(0)
Hive集成Tez
摘要：1.上传tez.tar.gz至hdfs的/tez，随后在本地目录解压 2.在hive的conf目录下创建tez-site.xml 输入： <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="con 阅读全文
posted @ 2020-09-06 21:26 小小分析猿 阅读(910) 评论(0) 推荐(0)
sqoop --xx: commod not found
摘要：1.首先确保sqoop路径正确且命令没有敲错。 2. 可执行命令必须全部是蓝色 如果某行开始出现白色，那里肯定是找不到的 解决：在蓝色命令末尾回车，重新打一遍命令，一般情况下会变成蓝色。 记住把白色的命令行删掉 阅读全文
posted @ 2020-09-06 18:22 小小分析猿 阅读(489) 评论(0) 推荐(0)
Kafka部署
摘要：1. 解压 2.vim config/server.properties 找到下列参数位置，并修改 #broker 的全局唯一编号，不能重复 broker.id=0 #kafka 运行日志存放的路径 log.dirs=/opt/module/kafka/logs #配置连接 Zookeeper 集群 阅读全文
posted @ 2020-09-06 18:07 小小分析猿 阅读(141) 评论(0) 推荐(0)
Flume部署
摘要：1.解压 2.配置flume-env.sh文件: 将 flume/conf 下 的 flume-env.sh.template 文 件 修 改 为 flume-env.sh ， 并 配 置 flume-env.sh 文件, 声明jdk路径 export JAVA_HOME=/opt/module/j 阅读全文
posted @ 2020-09-06 18:02 小小分析猿 阅读(124) 评论(0) 推荐(0)