郭小白

摘要： HBase协处理器的简单使用 一、hbas协处理器介绍 hbase在0.92版本之前是没有协处理器的，之所以引入协处理器是为了能够让用户能够可以扩展服务端的类库，并直接在服务端完成特定任务二不需要跟客户端之间有IO操作. hbase可以实现的功能 代码可以运行在每个表服务器的每个表上 提供高层调用接 阅读全文

摘要： 一、spark累加器源码以创建一个long类型的累加器为例查看源码sc.longAccumulator跟踪这个longAccumulator这个方法进去可以看到/** * Create and register a long accumulator, which starts with 0 and accumulates inputs by `add`. */def longAccumulator... 阅读全文

摘要： 一、问题描述 新部署的flume在启动时候报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V2020-06-30 11:40:20,359 (SinkRunner-PollingRunner-Defaul... 阅读全文

摘要： spark使用submit提交任务到集群报错：ClassLoaderResolver for class "" gave error on creation : {1}org.datanucleus.exceptions.NucleusUserException: ClassLoaderResolver for class "" gave error on creation : {1} at or... 阅读全文

摘要： kettle同步数据，从mysql到sqlServer中，MySQL中的时间字段为timestamp类型，sqlserver中的数据列数据类型为timestamp类型，但是二者同步的时候会发生错误，报错：然后试图将sqlServer中的timestamp字段类型修改为datatime类型，执行语句：Alter table HDP_cluster_status_info Alter Column c... 阅读全文

摘要： 集群机器停机之后，重新启动之后，hive客户端进入，查询数据报错：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessio... 阅读全文

摘要： 现象：在进行spark本地IDEA运行的时候，报错报错：Exception in thread "main" java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:112) at... 阅读全文

摘要： Flink读写mysql 如果是mvn项目的话，需要预先导入相应的包： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-jdbc_2.11</artifactId> <version>1.9.2</version> 阅读全文

摘要： 现象：最近在进行开发kettle程序的时候，在本地环境测试的时候是没有问题的，但是当上线到生产环境，每次当数据同步到10000条的时候，程序就卡主，也不报错，就是不往下进行了。问题分析：1、生产个本地是相同的环境，所以先排除环境问题的干扰 2、在本次进行测试的时候，由于只是测试器功能，并未对其性能进 阅读全文

摘要： 场景：在从hdfs上面getmerge到本地文件，然后在将其上传到hdfs指定的目录下，报错 报错内容： 20/03/09 17:34:40 INFO fs.FSInputChecker: Found checksum error: b[0, 16384]=700d0a3531342c33352c3 阅读全文