摘要： 最近出现一个问题，mysql历史月表的数据达到2000万左右的时候大概是16G，我们的历史月表有20多个字段。查询速度，非常的慢。 为此，我们花费了一周的时间解决这个查询性能的问题。 首先，我们把当前表的建表语句show了一下，发现字段默认的排序规则是：COLLATE=utf8mb4_0900_ai 阅读全文

摘要： 我发现当我们在真正的去做一件事情的时候，中间会有各种岔路口，你走得每一步都算数，记住一点，不忘初心，方得始终。 阅读全文

摘要： 2018-12-30 22:34 第一次来到博客园，想着一定要每天写一篇博客，帮助自己在学习开发的过程中成长，然并卵。 我不是一个自律性强的人，一个习惯，在我特别激进时，可能会坚持几个月，但是，当我的目的达到以后，我就会松懈了。 如今我已经在2020.4.22找到了一份真正的开发工作，并且一直工作到 阅读全文

摘要： 这是一个在cdh的yarn集群上无法运行mr程序的错误，linux的监控平台的错误如下图： 在yarn的web页面上报的错如下图： 一开始以为是yarn的权限问题，后来装了spark2以后，启动spark-shell会报如下错误： 然后根据https://blog.csdn.net/weixin_3 阅读全文

摘要： 这是个不该踩的坑，被我踩了两天。 启动hbase之后，Hmaster和Hregionserver会自动相继down掉， 于是重新安装了hbase, 但是重新安装hbase之后， 你必须将zkCli里的/hbase节点目录和hdfs里的/hbase目录全部删掉！ 你必须将zkCli里的/hbase节点 阅读全文

摘要： 这是我在误改了namenode的资源管理里的一个参数后遇到的一个巨坑， 百度了一晚上也没有解决方案， 有的说需要配置jvm的启动参数，报这个错确实与jvm的启动参数有关， 但需要更改的是namenode的java堆大小，更改的方法是： 修改图中的值即可！ 由于本人的知识水平也是有限，以上是我遇到的问 阅读全文

摘要： CDH 重新部署集群报错：fail to format namenode 解决方法 清空残留数据后，重新初始化: 1、namenode节点： rm -rf /dfs/nn 2、datanode节点： rm -rf /dfs/dn 3、在cdh中重新执行启动hadoop集群即可。 阅读全文

摘要： 这次安装cdh遇到了数不清的坑，现在就出现的坑做一下梳理，能帮到小伙伴也方便后期自己再遇到类似的问题进行查找！ 问题一：见下图 解决方法： 因为我安装的cdh集群采用的是全离线安装，在集群安装的过程中，要求每个节点都必须挂载光驱， 而对于每台节点都手动的去挂载光驱太麻烦，也不方便。 这里使用每个节点 阅读全文

摘要： 点滴之水，汇成江海！ 这个小问题很容易解决，但真的也困扰了我很久！ 命令案例： sqoop create-hive-table --connect jdbc:mysql://192.168.44.143:3306/sqooptest --username root --password lam7 - 阅读全文

摘要： 今天遇到一个问题，如下图所示，我用sqoop将hive中数据导出到mysql中，结果出现了以下情况： 经过查找资料，终于解决了问题，下面我将自己的完整解决步骤做一下记录，如果能帮到需要帮助的人，我会非常开心， 最主要的是将来自己再遇到类似的问题可以进行查看。 首先在mysql的指令界面输入以下命令： 阅读全文