摘要：
从应用角度看，需大数据平台提供如下4项安全功能： 图1 大数据平台安全功能 1、边界——限制只有合法用户身份的用户访问大数据平台集群 （1） 用户身份认证：关注于控制外部用户或者第三方服务对集群的访问过程中的身份鉴别，这是实施大数据平台安全架构的基础；用户在访问启用了安全认证的集群时，必须能通过服务 阅读全文
posted @ 2017-05-26 17:06
bonelee
阅读(8070)
评论(2)
推荐(0)
摘要：
看了下压缩算法的发展历史，根据倒排索引的数据结构特点，个人认为zstd不适合做倒排索引压缩，举例说明下： 假设有一份文档倒排列表为：[300, 302, 303, 332]，对于这组倒排数据，是没法***直接***采用zstd这类字典压缩算法的，因为里面没有重复数据（字典压缩通常重复数据较多，例如一 阅读全文
posted @ 2017-05-25 15:25
bonelee
阅读(1194)
评论(0)
推荐(0)
摘要：
引言 无损压缩算法可行的基本原理是，任意一个非随机文件都含有重复数据，这些重复数据可以通过用来确定字符或短语出现概率的统计建模技术来压缩。统计模型可以用来为特定的字符或者短语生成代码，基于它们出现的频率，配置最短的代码给最常用的数据。这些技术包括熵编码(entropy encoding)，游程编码( 阅读全文
posted @ 2017-05-25 15:00
bonelee
阅读(2947)
评论(0)
推荐(0)
摘要：
Unary Arithmetic Asymmetric Numeral Systems Golomb Huffman Adaptive Canonical Modified Range Shannon Shannon–Fano Shannon–Fano–Elias Tunstall Universa 阅读全文
posted @ 2017-05-25 14:57
bonelee
阅读(1251)
评论(0)
推荐(0)
摘要：
LMDB基本架构 lmdb的基本架构如下: lmdb的基本做法是使用mmap文件映射，不管这个文件存储实在内存上还是在持久存储上。lmdb的所有读取操作都是通过mmap将要访问的文件只读的映射到虚拟内存中，直接访问相应的地址.因为使用了read-only的mmap，同样避免了程序错误将存储结构写坏的 阅读全文
posted @ 2017-05-24 17:57
bonelee
阅读(5426)
评论(0)
推荐(0)
摘要：
如下，使用gomb库 结果如下： 10Key-0: Val-0Key-1: Val-1Key-2: Val-2Key-3: Val-3Key-4: Val-4Key-5: Val-5Key-6: Val-6Key-7: Val-7Key-8: Val-8Key-9: Val-9Val-3****** 阅读全文
posted @ 2017-05-24 17:17
bonelee
阅读(1243)
评论(0)
推荐(0)
摘要：
使用的是这个库：https://github.com/szferi/gomdb 安装： go get github.com/szferi/gomdb 代码： go build main.go 运行： ./main 出错： panic: runtime error: cgo argument has 阅读全文
posted @ 2017-05-24 16:45
bonelee
阅读(1460)
评论(0)
推荐(0)
摘要：
=》 I guess this doesn't really answer your question, but if you want, you can actually call the methods without explicitly stating the package - just 阅读全文
posted @ 2017-05-24 16:37
bonelee
阅读(809)
评论(0)
推荐(0)
摘要：
更多见：http://blog.csdn.net/ayst123/article/details/44077903，摘录如下： write 这里，先建立lmdb的instance， db_img。 然后开始txn(可能有很多个开始？)。 put 存放，最后一定注意要commit()。不然根本没有存进 阅读全文
posted @ 2017-05-24 14:59
bonelee
阅读(1969)
评论(0)
推荐(0)
摘要：
Hash hash可以算是一种两级kv，首先通过key找到一个hash对象，然后再通过field找到或者设置相应的值。 在ledisdb里面，我们需要将key跟field关联成一个key，用来存放或者获取对应的值，也就是key:field这种格式。 这样我们就将两级的kv获取转换成了一次kv操作。 阅读全文
posted @ 2017-05-24 13:25
bonelee
阅读(1186)
评论(0)
推荐(0)
浙公网安备 33010602011771号