2019年8月21日

hive排错

摘要： 找出错的那个hive实例，看错误日志： 点下面stdout，找Error 阅读全文

posted @ 2019-08-21 12:20 锋锋2019 阅读(163) 评论(0) 推荐(0)

调优

摘要： 见: 笔记 hdfs调优;dfs.socket.timeout 3000 480000dfs.datanode.socket.write.timeout 3000 480000dfs.replication 副本改为2dfs.blocksize 16M 128M 又调回16M ,几百K小文件多dfs 阅读全文

posted @ 2019-08-21 12:19 锋锋2019 阅读(782) 评论(1) 推荐(0)

2019年8月20日

mysql-jdbc connector

摘要： mysql-jdbc connector: https://dev.mysql.com/downloads/connector/j/ 目录： /usr/share/java/mysql-connector-java.jar impala jdbc https://my.oschina.net/hus 阅读全文

posted @ 2019-08-20 18:17 锋锋2019 阅读(337) 评论(0) 推荐(0)

bi的tableau

摘要： 参考: 官网: https://help.tableau.com/current/server-linux/zh-cn/get_started_server.htm 可视化分析最佳做法： 实用指南 https://www.tableau.com/zh-cn/learn/whitepapers/tab 阅读全文

posted @ 2019-08-20 14:27 锋锋2019 阅读(482) 评论(0) 推荐(0)

CDH日常运维

摘要： 1/ 作业有问题: 查log,没log再跑一次查log. 如果没有log的情况,比如hiveserver2挂了,查strr. 2/ 查集群名字 #看hdfs集群的名字,在cdh的hdfs配置中查:nameservice 3/ 添加角色 主机--角色，可以看各节点角色 添加，比如hdfs角色，可以选h 阅读全文

posted @ 2019-08-20 13:03 锋锋2019 阅读(1227) 评论(0) 推荐(0)

aws S3

摘要： 查看：bi-kafka3 aws s3 ls s3://opay-bi 阅读全文

posted @ 2019-08-20 11:39 锋锋2019 阅读(125) 评论(0) 推荐(0)

ucloud建新主机

摘要： 系统盘默认20G，可调到40不增加费用。需建好主机后关机才能更改。 root密码按统一的设 设好主机名，选好分组 阅读全文

posted @ 2019-08-20 10:11 锋锋2019 阅读(120) 评论(0) 推荐(0)

2019年8月19日

hdfs-yarn大数据常用命令

摘要： 一, yarn 7:50-8点这段时间没有任务 8-1.10 collect的作业多 8.30-9点大作业 #查看yarn的环境变量设置: yarn envvarsWARNING: YARN_OPTS has been replaced by HADOOP_OPTS. Using value of 阅读全文

posted @ 2019-08-19 08:49 锋锋2019 阅读(1309) 评论(0) 推荐(0)

2019年8月17日

CDH5.X文档

摘要： 属性参数 https://www.cloudera.com/documentation/enterprise/properties.html 阅读全文

posted @ 2019-08-17 23:00 锋锋2019 阅读(238) 评论(0) 推荐(0)

CDH6.2官方文档

摘要： 文档总览: https://www.cloudera.com/documentation/enterprise/6/6.2.html 官方api: https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cloudera_mana 阅读全文

posted @ 2019-08-17 22:16 锋锋2019 阅读(3237) 评论(0) 推荐(1)

导航