摘要：
HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.h 阅读全文
posted @ 2018-02-04 01:06
Runner_Jack
阅读(794)
评论(0)
推荐(0)
摘要：
一、数据倾斜 数据倾斜一般发生在对数据进行重新划分以及聚合的处理过程中。执行Spark作业时，数据倾斜一般发生在shuffle过程中，因为Spark的shuffle过程需要进行数据的重新划分处理。在执行shuffle过程中，Spark需要将各个节点上相同key的数据拉取到某个处理节点的task中进行 阅读全文
posted @ 2018-01-10 14:14
Runner_Jack
阅读(3319)
评论(1)
推荐(1)
摘要：
我用的是虚拟机，一换网络环境虚拟机的ip就没有了，重启网上就报Failed to start LSB: Bring up/down networking错误。网上查了一圈说什么HWADDR有问题，改了之后也没什么作用。也许是大家情况都不一样，有的成功的有失败。当你也没有其他办法时，用用我的方法也许会 阅读全文
posted @ 2018-01-05 10:11
Runner_Jack
阅读(3660)
评论(0)
推荐(0)
摘要：
ldd -r xxx.so 阅读全文
posted @ 2017-12-25 15:10
Runner_Jack
阅读(336)
评论(0)
推荐(0)
摘要：
export LD_LIBRARY_PATH=. 阅读全文
posted @ 2017-12-22 14:43
Runner_Jack
阅读(591)
评论(0)
推荐(0)
摘要：
例： ifort -c -fpic test.f90ifort -shared -o test.so test.o 阅读全文
posted @ 2017-12-22 13:33
Runner_Jack
阅读(797)
评论(0)
推荐(0)
摘要：
source /opt/intel/bin/compilervars.sh intel64 阅读全文
posted @ 2017-12-22 11:11
Runner_Jack
阅读(1568)
评论(0)
推荐(0)
摘要：
HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1. RowFilter： 阅读全文
posted @ 2017-12-13 22:06
Runner_Jack
阅读(341)
评论(0)
推荐(0)
摘要：
在这里讲什么设计规范实在是有些不知天高地厚，毕竟笔者本人也只是一个大数据技术的初学者，断然不敢制订什么设计规范的，所以请原谅我的狂妄，这个设计规范，只是本人对自己制订的，与别人无关。 之前，HBase官方和大批的高人已经总结了一部分HBase设计方面的规范，笔者进行了搜集整理，再加上自己的理解和丰富 阅读全文
posted @ 2017-12-13 21:58
Runner_Jack
阅读(2849)
评论(0)
推荐(0)
摘要：
一、写操作 1、spark中引入外部jar包 1）创建/usr/software/spark_jars目录，把hbase里的lib里的以下七个jar放入/usr/software/spark_jars里： guava-12.0.1.jar hbase-common-1.0.2.jar hbase-p 阅读全文
posted @ 2017-11-18 22:38
Runner_Jack
阅读(982)
评论(0)
推荐(0)
浙公网安备 33010602011771号