09 2019 档案

hbase读取快照数据-lzo压缩遇到的问题
摘要：1.读取hbase快照数据时报UnsatisfiedLinkError: no gplcompression in java.library.path错： 在使用java 命令执行时可加上 -Djava.library.path=/opt/hadoop/lib/native，就没有此报错 2.解决完 阅读全文
posted @ 2019-09-12 19:44 七星6609 阅读(1800) 评论(0) 推荐(0)
idea 远程调试
摘要：1.在idea中选择Edit Configurations，添加Remote远程连接，如下图： 设置名称为：workerDebug，Host：为远程要连接的服务器地址，Port：为debug时的端口号 在idea中配置完远程连接后，复制：-agentlib:jdwp=transport=dt_soc 阅读全文
posted @ 2019-09-06 15:54 七星6609 阅读(2759) 评论(0) 推荐(0)
idea Error:java: Compilation failed: internal java compiler error
摘要：在调试代码时出现Error:java: Compilation failed: internal java compiler error异常 是由于java版本不一致引起的 解决问题就很简单了，把Java版本调成一致就可以了 阅读全文
posted @ 2019-09-05 11:52 七星6609 阅读(976) 评论(0) 推荐(0)
使用TableSnapshotInputFormat读取Hbase快照数据
摘要：根据快照名称读取hbase快照中的数据，在网上查了好多资料，很少有资料能够给出清晰的方案，根据自己的摸索终于实现，现将代码贴出，希望能给大家有所帮助： 如果读取快照数据时，数据列簇使用的是lzo压缩的话，可能会遇到lzo解压缩问题，可以参照：hbase读取快照数据-lzo压缩遇到的问题 阅读全文
posted @ 2019-09-04 20:53 七星6609 阅读(1747) 评论(0) 推荐(0)
java -cp 执行jar包里的某个类
摘要：当我们需要测试某个功能时，需要在linux环境下执行某个类的main方法来测试 可以使用java -cp xxx.jar com.MyClass来执行某个类 其中com.Test为test.jar中的某个类，lib/*为test.jar依赖的jar包， -cp 和 -classpath 一样，是指定 阅读全文
posted @ 2019-09-04 11:03 七星6609 阅读(4814) 评论(0) 推荐(0)
Hadoop3.1.2 + Hbase2.2.0 设置lzo压缩算法
摘要：Hadoop3.1.2 + Hbase2.2.0 设置lzo压缩算法： 写在前面，在配置hbase使用lzo算法时，在网上搜了很多文章，一般都是比较老的文章，一是版本低，二是一般都是使用hadoop-gpl-compression，hadoop-gpl-compression是一个比较老的依赖包，现 阅读全文
posted @ 2019-09-03 16:46 七星6609 阅读(2159) 评论(0) 推荐(0)
Hbase常见异常
摘要：1.启动hbase后，在hbase shell中执行 status和create时报错 2019-09-02 09:43:21,534 WARN [master/s128:16000:becomeActiveMaster] master.HMaster: hbase:meta,,1.15882307 阅读全文
posted @ 2019-09-02 13:55 七星6609 阅读(3818) 评论(1) 推荐(1)