摘要： 前段公司在阿里云租了几台服务器，想用来做Hadoop开发环境，系统是默认安装的，没有调优，遇到个问题。 最开始Hadoop安装的时候，没啥事，很顺利的安装上了，也可以跑任务，速度也可以，然后几个人上来操作，遇到如下报错： 很明显hadoop用户的资源不可用，换个用户也是这样的： 但是root 就没有 阅读全文

摘要： 任务一直报错 现象比较奇怪，部分任务可以正常跑，部分问题报错 报错信息如下： yarn报错，任务不能访问jobhistory，启动historyserver就行 阅读全文

摘要： spring boot 实现mybatis拦截器 项目是个报表系统，服务端是简单的Java web架构，直接在请求参数里面加了个query id参数，就是mybatis mapper的query id，刚好对接接口的请求参数，没有使用接口模式。 基于这种特性，分页使用了PageHelper插件，但是 阅读全文

摘要： 上篇： Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop，配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF 阅读全文

摘要： 发生了一件辣眼睛的操作，一个现场应用升级，由于跨度很大，不敢直接动，就把现场的数据库dump拿回来，在公司做写升级测试。 于是，联系现场的工程师把数据库dump导出来，放到网盘弄回来。 一个星期后 现场的工程师说，dump文件太大，拿不了 回想起，去年去哪个现场的时候，看到的数据表空间截图： 700 阅读全文

摘要： 接上篇：使用Hadoop API 压缩HDFS文件 压缩完了，当然需要解压缩了。 直接上代码： 打包执行： 文件大小： 249.4 M ，解压后大小：1.4 G，执行时间 39 s，很不错 项目地址：码云 阅读全文

摘要： 下篇解压缩：使用Hadoop API 解压缩 HDFS文件 起因： 集群磁盘剩余空间不足。 删除了存储在HDFS上的，一定时间之前的中间结果，发现并不能释放太多空间，查看计算业务，发现，每天的日志存在数量竟然是10份。/惊恐 /a/log=20180101 #每日原始日志 /b/log=201801 阅读全文

摘要： 前段时间，一个客户现场的Hadoop看起来很不正常，有的机器的存储占用达到95%，有的机器只有40%左右，刚好前任的负责人走了，这边还没有明确接班人的时候。 我负责的大数据计算部分，又要依赖Hadoop的基础平台，要是Hadoop死了，我的报表也跑不出来（专业背锅）。 做下balance，让各个节点 阅读全文

摘要： 找不到DNS服务器。 解决办法： 配置/etc/resolv.conf 加入如下内容： 重新执行。搞定 阅读全文

摘要： hive UDTF函数 阅读全文