摘要： 在此自己总结下UDF的用法 1.首先最简单的UDF（普通用java扩充函数的方式，大多数简便函数可以用这个函数来实现，返回单个字段），其加强版UDGF据说对map一类数据类型有更好兼容，实现上略复杂 2.如果想一次性java复杂点 处理完一条数据返回多个字段，建议用UDTF（GenericUDTF） 阅读全文

摘要： mysql Can't read dir of 今天打开mysql数据库突然报了这个错误 查后发现是表没权限，进行了mysql的data目录权限修改 1.show global variables; 查询到所有mysql配置找到data目录 2.到目录下修改mysql用户权限 >chown -R m 阅读全文

摘要： 最近看概率里面的卡方公式一些不大明白看到网上有一些演算就记录下来有助于后面理解 卡方分布公式推导过程，出自 http://blog.sina.com.cn/s/blog_4cb6ee6c0102xh17.html 阅读全文

摘要： 到hive目录下的hive-site <property> <name>hive.cli.print.header</name> <value>true</value> </property> 重启cli 成功，不用重启hive 阅读全文

摘要： 去年华为大佬就开始在用flink,今天刚有空就稍微跟着写了个demo玩起来（就不用java了 spark和flink还是用scala玩） flink的离线操作 阅读全文

摘要： 由于开发socket一类工具需要用到管道进行测试,就想到安装个linux nc工具来测试 于是上网找了个rpm安装完发现不可用（公司服务器没外网） 报错内容： [root@rhel071 installpackage]# nc -l 9876nc: Protocol not available 看起 阅读全文

摘要： LZO好处。可以对hive这种快文件进行压缩,然后做索引达到速度大幅度改进索引 先是按照这个教程（网上很多可以找找看看） https://blog.csdn.net/Post_Yuan/article/details/54287325 安装完CDH,很多人会发现 跑的时候class no found 阅读全文

摘要： 今天同事要对测试环境进行降级（测试高于生产所以要求降级）,自己不经常搞运维,但是无奈测试环境没运维管理只能自己上了。 流程和遇到问题按数字表示。 1.重装CM（clouder manager）这个过程还是比较容易的,机器选择升级就好了，记得别点安装JDK（多个版本JDK会影响集群JDK！！！）,记得 阅读全文

摘要： 照着这个文章搭建的 https://blog.csdn.net/sinat_32176947/article/details/79597073 需要注意问题有 离线需要自己配置yum 地址base地址配置成本地 cloudera manger的更新地址换成本地的 安装oracle jdk注意打钩 安 阅读全文

摘要： 今天和同事聊到这个问题,发现者自己理解上有点错误。借此机会记录下 HRegionServer内部管理了一系列HRegion对象，每个HRegion对 应了table中的一个region，HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储 阅读全文