摘要： join() ，与sleep()(不释放锁)、wait()(释放锁)方法都属于多线程运行控制常用方法。 join()的作用类似与排队，比如ThreadA调用了ThreadB的join()方法，则ThreadA会进入阻塞状态，ThreadB会一直运行，知道ThreadB结束后ThreadA才会继续执行 阅读全文

摘要： 当大型集团内部、如总公司和子公司之间需要进行数据交换、采集时，其中总公司是Hive数据源，两个NameNode，30个DataNode的高可用集群，子公司一般是Mysql数据源，总公司与各个子公司之间都是网络隔离的。 现在我们首先考虑的业务场景是总公司对各个子公司进行数据采集，也就是子公司将mysq 阅读全文

摘要： FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required journal (JournalAndStream(mgr=QJM to [10.0.22.103:8485, 10.0. 阅读全文

摘要： https://my.oschina.net/xiaozhublog/blog/2249525 https://blog.csdn.net/TN947/article/details/78794297 想重新启动gp报错 删除container sudo docker rm f91cf8a962ee 阅读全文

摘要： 使用datax在同步mysql->hive时发现parquet一直在打印日志,严重影响了正常日志的查看 解决方案如下 step 1 : 修改datax的logback.xml发现无效,　在这里改来改去测试了半天, 后来得出结论, logback.xml根本控制不住这个包下的日志 step 2 : 直 阅读全文

摘要： 一、某日SAAS环境磁盘水位过高，一共500G，已经被占用了450G以上，故查看hdfs各目录分别占用多少空间， 1、hadoop fs -help （若熟悉命令，可忽略） 2、hadoop fs -du -h / 发现是/hive下数据量突出 3、hadoop fs -du -h /hive 继续 阅读全文

摘要： 近期开始接触真正的实时同步，之前接触的SparkStreaming偏重于实时计算，kafka和flume只能算简单的数据同步，如今正式开始做产品化的数据同步项目。特此记录一些知识点。 客户收到磁盘阈值超限报警，进入服务器后，执行df -h可以查看服务器整体磁盘占用情况: 然后可以查看具体目录下的占比 阅读全文

摘要： package Core是carbondata的核心代码。 照例，先看Test类。CarbonPropertiesValidationTest 阅读全文

摘要： 之前的博客虽然是自己写的，但是也得经常回顾啊。 刚才用到线程锁，但是又不敢确定用什么最好了。之前学习过，但使用不多，不够深刻，也没有很理解，有点遗忘了。 ReentrantLock 和Synchronized都是可重入锁，即本线程拥有锁以后可以再次执行进入锁所相关的代码而不会阻塞，只是count+1 阅读全文

摘要： 最近公司需要对CarbonData进一步应用，或许封装进产品，或许是为了解析CarbonData元数据，于是开始预研CarbonData，下面将保持每天一篇以上的阅读CarbonData源码博客，由于自己基础薄弱，会记录自己所有觉得有价值的点，内容或旁杂或简单，海涵。 阅读方式以example或te 阅读全文