随笔分类 -  大数据、云计算

MemCache详细解读（转）
摘要：参考：https://www.cnblogs.com/xrq730/p/4948707.html MemCache是什么 MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。MemCaChe是一个存储键值对的HashMap，在内 存中对任意的数据（比如字符串... 阅读全文
posted @ 2018-11-27 14:24 章三丰 阅读(293) 评论(0) 推荐(0)
memcached单机或热备的安装部署
摘要：一、部署准备 1、安装Java 不建议使用系统默认Open JDK版本，需要手工另行安装。JDK版本建议为1.7+，若Java已安装完毕，则无需重复安装。 安装过程如下： （1）获取JDK安装包； （2）将JDK包分发到各主机： scp [-P ] [@]: （3）解压JDK包到规范路径下（如/opt/jdk/）； （4）设置环境变量，在/etc/profile文件中添... 阅读全文
posted @ 2018-11-25 22:25 章三丰 阅读(419) 评论(0) 推荐(0)
memcache的基本操作
摘要：1、linux下启动memcache 参数名称及意义： -d 以守护进程方式启动。如果该参数没有指定，当按ctrl+c命令结束，memcache自动关闭 -m 分配给memcache使用的最大内存数 单位是m，默认是64m -u 指定运行memcache的用户 -l: 指定监听的ip地址 -p 指定 阅读全文
posted @ 2018-11-25 22:15 章三丰 阅读(2044) 评论(0) 推荐(0)
kafka知识点详解
摘要：第一部分：kafka概述 一、定义（消息引擎系统） 一句话概括kafka的核心功能就是：高性能的消息发送与高性能的消息消费。 kafka刚推出的时候是以消息引擎的身份出现的，它具有强大的消息传输效率和完备的分布式解决方案，随着版本更新，在kafka0.10.0.0版推出了流式处理组件——Kafka Streams，使kafka交由下游数据处理平台做的事也可以自己做，自此kafka在消息引擎的基础上... 阅读全文
posted @ 2018-08-17 02:01 章三丰 阅读(3138) 评论(0) 推荐(1)
redis/memcache监控管理工具——treeNMS
摘要：TreeNMS可以帮助您搭建起一套用于redis的监控管理系统，也支持Memcached，让您可以通过web的方式对数据库进行管理，有了它您就可以展示NOSQL数据库、编辑修改内容，另外还配备了sql语法帮助，让您的管理工作更加轻松。 一、安装 官网下载地址：http://www.treesoft. 阅读全文
posted @ 2018-07-24 16:44 章三丰 阅读(7699) 评论(0) 推荐(1)
memcached性能测试之Twemperf
摘要：Twemperf又名mcperf，是一款memcached的性能测试工具。Mcperf就像httperf，但它基于memcached的协议，它使用memcached的ASCII协议并且能够快速的产生大量memcached连接和请求。该工具主要用于memcached性能测试，模拟大并发set、get等 阅读全文
posted @ 2018-07-18 18:40 章三丰 阅读(1720) 评论(0) 推荐(0)
HBase Snapshot简介
摘要：一、简介 HBase 从0.95开始引入了Snapshot，可以对table进行Snapshot，也可以Restore到Snapshot。Snapshot可以在线做，也可以离线做。Snapshot的实现不涉及到table实际数据的拷贝，仅仅拷贝一些元数据，比如组成table的region info，表的descriptor，还有表对应的HFile的文件的引用。 Hbase snapshot功能让你... 阅读全文
posted @ 2018-07-02 20:50 章三丰 阅读(3468) 评论(0) 推荐(0)
HBase的replication原理及部署
摘要：一、hbase replication原理 hbase 的复制方式是 master-push 方式，即主集群推的方式，主要是因为每个rs都有自己的WAL。 一个master集群可以复制给多个从集群，复制是异步的，运行集群分布在不同的地方，这也意味着从集群和主集群的数据不是完全一致的，它的目标就是最终一致性。 1. Replication 总体结构 我们直接引用社区的架构图如下，主集群的hlog中记... 阅读全文
posted @ 2018-06-18 18:50 章三丰 阅读(11304) 评论(1) 推荐(1)
HBase基础操作
摘要：一、插入： 1>给表添加记录 语法：put ,,,, 示例：put 't1','rowkey001','f1:col1','value01' 二、删除： 1>删除行中的某个列值 语法：delete , , , ,必须指定列名 示例：delete 'User', 'row1', 'info:age' 2>删除行 语法：deleteall , , , ，可以不指定列名，删除整行数据 示例：dele... 阅读全文
posted @ 2018-06-12 10:56 章三丰 阅读(161) 评论(0) 推荐(0)
HBase基础架构及原理
摘要：1. HBase框架简单介绍 HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键 阅读全文
posted @ 2018-06-09 19:01 章三丰 阅读(379) 评论(0) 推荐(0)
HBase在HDFS上的目录介绍
摘要：总所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？ 第一，介绍系统级别的目录树。 一、0.94-cdh4.2.1版本 系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hba 阅读全文
posted @ 2018-06-09 17:24 章三丰 阅读(5992) 评论(0) 推荐(0)
zookeeper的三种安装模式
摘要：zookeeper的安装分为三种模式：单机模式、集群模式和伪集群模式。 1、单机模式 首先，从Apache官网下载一个Zookeeper稳定版本，本次教程采用的是zookeeper-3.4.9版本。 http://apache.fayea.com/zookeeper/zookeeper-3.4.9/ 阅读全文
posted @ 2018-06-09 13:57 章三丰 阅读(1858) 评论(0) 推荐(0)
YCSB之HBase性能测试
摘要：1、YCSB背景 YCSB，全称为“Yahoo！Cloud Serving Benchmark”，是雅虎开发的用来对云服务进行基础测试的工具，其内部涵盖了常见的NoSQL数据库产品，如Cassandra、MongoDB、HBase、Redis等等。在运行YCSB的时候，可以配置不同的workload 阅读全文
posted @ 2018-06-08 17:08 章三丰 阅读(11887) 评论(0) 推荐(0)
kerberos简单介绍
摘要：重要术语 1. KDC 全称：key distributed center 作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS 2. AS 全称：authentication service 作用：为client生成TGT的服务 3. TGS 全称：ticket grantin 阅读全文
posted @ 2018-06-08 10:04 章三丰 阅读(1587) 评论(0) 推荐(0)
Kafka常用命令
摘要：1、启动kafka 2、列出已创建的topic列表 3、创建topic–test 4、模拟客户端去发送消息 5、模拟客户端去消费消息 6、查看指定的主题 阅读全文
posted @ 2018-05-06 18:10 章三丰 阅读(186) 评论(0) 推荐(0)