摘要： 以前做spark时候遇到过，今天高flink又遇到查了半天，这里记录下 1..idea-》file-》project structure-》libraries-》（左侧对话框这里如果存在空的lib就先删掉如下图）-》除了lib下面全选New Project Library-》选到自己炫目然后选中里面 阅读全文

摘要： 背景：每天大数据平台核心就是出报表，而核心的中间表底层是大量的报表都会依赖它运行，我们称这个报表为142.（因为报表我们这边编号是142）。预计依赖于它的报表有几十个展示。 问题现象：每天142报表的运行时间达到10 15小时。导致底层报表计算大量延迟。于是进行报表排查和重整sql逻辑。 分析sql 阅读全文

摘要： 最近spark2有同事想用anaconda3做开发，原因是上面可以跑机器学习的库（服务器因为没外网pip装whl确实麻烦） 1、先在每台机器安装anaconda3 2、把用户的~/.bashrc配置进Python的环境变量alias python=/opt/python/bin/python 3、把 阅读全文

摘要： spark2.0搭建到服务器跑很方便，但是本地跑和之前1.6还是有点区别，鼓捣了一点到半夜2点多总算能跑了。。 遇到的问题 1.idea千万要用file setting plugins的scala去安装（不然很容易不对版本造成不确定问题，今天就这个问题上绕了一大圈，最后还是FQ看到别人说试了下卸载之 阅读全文

摘要： 1.先到http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/ 下载需要的文件比如我linux版本需要是6的 hadoop6需要下载这些文件 记得sha1改成sha （上面这些是spark的组件文件），还需要CDH的监控文件，http: 阅读全文

摘要： 从错误看起来是regionspilt时候断电了，导致hbase master启动不起来，因为是测试环境只能删除这些region了，掉一部分数据 删除hbase下spilt块，删除zK里面的habse spilt元信息 删除后 重启ZK 和habse（记得依赖顺序），启动完进入hbase正常 阅读全文

摘要： yarn jar hadoop-examples-2.6.0-mr1-cdh5.10.0.jar pi 1 30 hadoop-examples-2.6.0-mr1-cdh5.10.0.jar 此JAR位于CHD 的share目录中 比找xml方便些 阅读全文

摘要： 数据不重要或者一直卡着的情况下，可以切换hdfs用户到hbase的wal目录下对spilting的数据进行重命名。具体步骤如下 1.关闭hbase集群 2.切换hdfs用户 3.到hbasewal目录下 4.重命名spliting文件为XX.old 5.重启集群 集群到此正常 附加一些hbase m 阅读全文

摘要： 前阵子做hive开发发现orc格式文件使用case when情况下会造成nullcount会统计入内问题，修改为sum就没此问题。具体例子下次放假回来记录，现在不在公司，这里做个mark 阅读全文

摘要： 安装sklearn过程出现挺多问题的。这里记录下一下问题点避免下次走弯路 1.安装ANACONDA，避免太多插件的手动安装,选用版本Anaconda3-4.3.1-Windows-x86_64.rar 2.安装visualcppbuildtools full.exe环境支持 3.如果framewor 阅读全文