摘要：
hbase asynchbase 异步API kerberos认证 阅读全文
摘要：
最近在集群中执行调度任务，或者是 在集群中执行 hadoop distcp 命令都会报这样的问题。 java.io.IOException: Can't get Master Kerberos principal for use as renewer- at org.apache.hadoop.ma 阅读全文
摘要：
最近的项目还是用的老的kafka版本（0.8），用spark 接数据的时候，如果spark 程序意外重启，重启时间内的kafka数据会丢失。我们需要实现最少消费一次，数据重复没有关系。但不能允许丢失数据。 在 Spark Streaming 中消费 Kafka 数据的时候，有两种方式分别是 1）基于 阅读全文
摘要：
最近用到spark 接kafka数据落到kudu里，如果用默认spark 参数，会出现一些问题，下面是在生产上调优后的一些参数，供参考 //推测执行spark.locality.wait=2sspark.speculation=truespark.speculation.interval=300ss 阅读全文
摘要：
CallQueueTooBigException 异常一般出现在RPC服务中，由RpcServer.java知DEFAULT_MAX_CALLQUEUE_SIZE = 1024 * 1024 * 1024;，即若hbase.ipc.server.max.callqueue.size未设置的话，值默认 阅读全文
摘要：
hive 阅读全文
摘要：
如果是新搭的CDH 集群并使用默认的kudu设置, 使用spark /java 连接kudu时候，一般都会碰到此类异常。 程序： 异常信息： java.lang.RuntimeException: Could not deserialize the response, incompatible RP 阅读全文
摘要：
近些日子需要研究大数据调度平台azkaban源码, 发现只有 linux运行的脚本，也没有windows下面的脚本，下面是怎么搭建IEDA /eclipse debug运行环境步骤。其实也挺简单的，我整理了下，方便初学者快速上手调试 ，希望可以帮助到大家。 1. 下载azkaban 源码 ，并按文档 阅读全文