上一页 1 ··· 212 213 214 215 216 217 218 219 220 ··· 273 下一页
2017年6月7日
ES transport client批量导入
摘要： 从bulk.txt文件中按行读取，然后bulk导入。首先通过调用client.prepareBulk()实例化一个BulkRequestBuilder对象,调用BulkRequestBuilder对象的add方法添加数据。实现代码： 阅读全文
posted @ 2017-06-07 11:28 bonelee 阅读(3174) 评论(0) 推荐(0)
ES transport client使用
摘要： ES transport client bulk insert 传输（transport）客户端 TransportClient利用transport模块远程连接一个elasticsearch集群。它并不加入到集群中，只是简单的获得一个或者多个初始化的transport地址，并以轮询的方式与这些地址 阅读全文
posted @ 2017-06-07 11:23 bonelee 阅读(11027) 评论(0) 推荐(0)
hdfs du命令是算的一份数据
摘要： As you can see, hadoop fsck and hadoop fs -dus report the effective HDFS storage space used, i.e. they show the “normal” file size (as you would see o 阅读全文
posted @ 2017-06-07 10:50 bonelee 阅读(1809) 评论(0) 推荐(0)
2017年6月3日
python nltk 入门demo
摘要： sudo pip install -U pyyaml nltk 搞不定，必须代理： Installing via a proxy web server¶ If your web connection uses a proxy server, you should specify the proxy 阅读全文
posted @ 2017-06-03 13:36 bonelee 阅读(853) 评论(0) 推荐(0)
2017年6月2日
elasticsearch 索引搜索和索引性能优化配置——思路：去掉不必要的数据，减小数据的磁盘空间占用，同时提升性能
摘要： 注意：同时将原始数据放在DB里，ES里通过doc id去DB里获取。_all搜索时候使用cross_fields。.tim文件较大，可以采用降低shard个数来瘦身。 总之，上述设置后可以将es的索引数据磁盘占用降低为原始数据的50%以内。 阅读全文
posted @ 2017-06-02 16:52 bonelee 阅读(2049) 评论(1) 推荐(0)
python统计ES存储空间占用的代码
摘要： 结果： total size, ['.doc', '.pos', '.tim', '.tip', '.dvd', '.dvm', '.fdt', '.fdx', '.fnm', '.nvd', '.nvm']1317898783 , 151402808 , 49137369 , 301883415 阅读全文
posted @ 2017-06-02 10:54 bonelee 阅读(1264) 评论(0) 推荐(0)
2017年6月1日
时序数据库深入浅出之存储篇——本质LSMtree，同时 metric（比如温度）+tags 分片
摘要： 什么是时序数据库 先来介绍什么是时序数据。时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性；往未来看可以做大数据分析，机器学习，实现预测和预警。 时序数据库就是存放时序数据的数据库，并且需要支持时序数据的快速写入、持久化、 阅读全文
posted @ 2017-06-01 15:10 bonelee 阅读(4728) 评论(6) 推荐(0)
2017年5月26日
大数据平台安全标准设计
摘要： 从应用角度看，需大数据平台提供如下4项安全功能： 图1 大数据平台安全功能 1、边界——限制只有合法用户身份的用户访问大数据平台集群 （1） 用户身份认证：关注于控制外部用户或者第三方服务对集群的访问过程中的身份鉴别，这是实施大数据平台安全架构的基础；用户在访问启用了安全认证的集群时，必须能通过服务 阅读全文
posted @ 2017-05-26 17:06 bonelee 阅读(8058) 评论(2) 推荐(0)
2017年5月25日
为什么倒排索引不采用zlib这样的字典压缩算法——因为没法直接使用啊
摘要： 看了下压缩算法的发展历史，根据倒排索引的数据结构特点，个人认为zstd不适合做倒排索引压缩，举例说明下： 假设有一份文档倒排列表为：[300, 302, 303, 332]，对于这组倒排数据，是没法***直接***采用zstd这类字典压缩算法的，因为里面没有重复数据（字典压缩通常重复数据较多，例如一 阅读全文
posted @ 2017-05-25 15:25 bonelee 阅读(1180) 评论(0) 推荐(0)
无损压缩算法历史
摘要： 引言 无损压缩算法可行的基本原理是，任意一个非随机文件都含有重复数据，这些重复数据可以通过用来确定字符或短语出现概率的统计建模技术来压缩。统计模型可以用来为特定的字符或者短语生成代码，基于它们出现的频率，配置最短的代码给最常用的数据。这些技术包括熵编码(entropy encoding)，游程编码( 阅读全文
posted @ 2017-05-25 15:00 bonelee 阅读(2923) 评论(0) 推荐(0)
上一页 1 ··· 212 213 214 215 216 217 218 219 220 ··· 273 下一页