zuoql

摘要： hbase asynchbase 异步API kerberos认证 阅读全文

摘要： 最近在集群中执行调度任务，或者是 在集群中执行 hadoop distcp 命令都会报这样的问题。 java.io.IOException: Can't get Master Kerberos principal for use as renewer- at org.apache.hadoop.ma 阅读全文

摘要： 最近的项目还是用的老的kafka版本（0.8），用spark 接数据的时候，如果spark 程序意外重启，重启时间内的kafka数据会丢失。我们需要实现最少消费一次，数据重复没有关系。但不能允许丢失数据。 在 Spark Streaming 中消费 Kafka 数据的时候，有两种方式分别是 1）基于 阅读全文

摘要： 最近用到spark 接kafka数据落到kudu里，如果用默认spark 参数，会出现一些问题，下面是在生产上调优后的一些参数，供参考 //推测执行spark.locality.wait=2sspark.speculation=truespark.speculation.interval=300ss 阅读全文

摘要： CallQueueTooBigException 异常一般出现在RPC服务中，由RpcServer.java知DEFAULT_MAX_CALLQUEUE_SIZE = 1024 * 1024 * 1024;，即若hbase.ipc.server.max.callqueue.size未设置的话，值默认 阅读全文

摘要： hive 阅读全文

摘要： 如果是新搭的CDH 集群并使用默认的kudu设置, 使用spark /java 连接kudu时候，一般都会碰到此类异常。 程序： 异常信息： java.lang.RuntimeException: Could not deserialize the response, incompatible RP 阅读全文

摘要： 近些日子需要研究大数据调度平台azkaban源码, 发现只有 linux运行的脚本，也没有windows下面的脚本，下面是怎么搭建IEDA /eclipse debug运行环境步骤。其实也挺简单的，我整理了下，方便初学者快速上手调试 ，希望可以帮助到大家。 1. 下载azkaban 源码 ，并按文档 阅读全文

摘要： 简单记录下安装步骤： 网上下载了安装包，一路next默认即可，中间会出现 选择安装x64或 x86版本，这边科普下 x86代表32位操作系统，x64代表64位操作系统。 如果提示3306端口被占用，执行下netstat -aon|findstr 3306， 找到该进程号，任务管理器杀掉即可。 1。需 阅读全文

摘要： 大数据平台要升级了kerberos认证，下面是JDBC 连接hive 程序片段，记录下 阅读全文