风-fmgao

摘要： Flume案例和Flume监控系统的使用： 安装 解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 3. 修改apache-flume-1.7.0-bin的名称为flume 将flume/conf下的flume-env.sh.template文件修改为f 阅读全文

摘要： Sqoop的基本原理和相关参数配置： 简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hado 阅读全文

摘要： Oozie的安装和任务调度： 简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按 阅读全文

摘要： 新旧API使用 Flume和Kafka集成： Kafka有两套API: 过时的API 和新API 准备工作 Kafka生产者API 旧 高级 生产者带回调函数 自定义分区 需求:将所有数据存储到topic的第0号分区上 Kafka消费者 旧 使用低级API读取指定topic，指定partition, 阅读全文

摘要： Hive的基本数据类型 DDL DML： 基本数据类型 对于Hive而言String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。 集合数据类型 数据类型描述语法示例 STRUCT 和c语言中的struct类似 阅读全文

摘要： Hive查询 分桶表 常用函数 自定义函数： 查询语法 基本查询 全表查询 条件查询 注意: 列别名 算术运算符 运算符描述 A+B A和B 相加 A-B A减去B A*B A和B 相乘 A/B A除以B A%B A对B取余 A&B A和B按位取与 A\ B A和B按位取或 A^B A和B按位取异或 阅读全文

摘要： Hive存储格式选择 和Hive 相关优化： 压缩参考 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 文件存储格式 列式存储和行式存储 行存储的特点:查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只 阅读全文

摘要： Nosql简介 NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非 阅读全文

摘要： memcached是一个高性能的分布式内存对象缓存系统： Memcached简介 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值 阅读全文

摘要： Redis的事务和秒杀场景设计： Redis事务 Redis事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断,Redis事务的主要作用就是串联多个命令防止别的命令插队 Multi 用于标记事务块的开始。Redis会将后续的 阅读全文

摘要： Redi持久化方式 Redis 提供了2个不同形式的持久化方式。RDB （Redis DataBase）AOF （Append Of File） RDB ​ 在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。 如何执行 ​ Red 阅读全文

摘要： 主从复制是什么 主从复制，就是主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主 作用 读写分离，性能扩展 容灾快速恢复 当一个从数据库启动后，会向主数据库发送SYNC命令。同时主数据库接收到SYNC命令后会开始在后台保存快照（即R 阅读全文

摘要： 集群 即使使用哨兵，此时的Redis集群的每个数据库依然存有集群中的所有数据，从而导致集群的总数据存储量受限于可用存储内存最小的数据库节点，形成木桶效应。由于Redis中的所有数据都是基于内存存储，这一问题就尤为突出了尤其是当使用Redis做持久化存储服务使用时。对Redis进行水平扩容，在旧版Re 阅读全文

摘要： MongoDB简介 MongoDB是一种强大、灵活、可扩展的开源数据库。由C++编写旨在为WEB应用提供可拓展,高性能数据存储解决方案,MongoDB是一个介于关系数据库和非关系数据库之间的产品.它扩展了关系型数据库的众多有用功能，如辅助索引、范围査询（rangequery)和排序。MongoDB的 阅读全文

摘要： MongoDB 入门命令 查看当前数据库 基础操作 Mongodb的库是隐式创建,你可以use 一个不存在的库然后在该库下创建collection,即可创建库 增 插入数据 添加数据时不添加任何主键,会制动生成一个主键,主键不会像关系型数据库那样自动递增(为了分布式考虑),使用的是时间戳+机器编号+ 阅读全文

摘要： find查询 MongoDB中使用find来进行查询。査询就是返回一个集合中文档的子集，子集合的范围从0个文档到整个集合。find的第一个参数决定了要返回哪些文档，其形式也是一个文档，说明要执行的査询细节。 查询所有数据 空的査询文档{}会匹配集合的全部内容。要是不指定査询文档，默认就是{}。 当我 阅读全文

摘要： 简介 索引就是用来加速查询的。数据库索引与书籍的索引类似：有了索引就不需要翻遍整本书，数据库则可以直接在索引中査找，使得查找速度能提高几个数量级。在索引中找到条目以后，就可以直接跳转到目标文档的位置。让这个比喻走个极端，可以说创建数据库索引就像确定如何组织书的索引一样。但你的优势是知道今后会做何种査 阅读全文

摘要： MongoDB 除了基本的查询,还有强大的聚合工具： distinct distinct用来找出给定键的所有不同的值。使用时必须指定集合和键。 group group做的聚合稍复杂一些。先选定分组所依据的键，而后MongoDB就会将集合依据选定键值的不同分成若干组。然后可以通过聚合每一组内的文档，产 阅读全文

摘要： 核心组件 MongoDB作为一个分布式文件存储数据库,我们要了解他的架构方式和重要的组件,分别是 :mongod(数据库核心程序)、mongos(他是用于分片集群的控制器和查询路由器)、mongo(他是交互式的MongoDB shell) mongod 此程序会处理所有的数据请求,管理数据格式并且执 阅读全文

摘要： 搜索 就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息 垂直搜索 站内搜索 互联网搜索 电商网站，招聘网站，新闻网站，各种app IT系统的搜索 OA软件，办公自动化软件，会议管理，日程管理，项目管理，员工管理，搜索“张三”，“张三儿” 阅读全文

摘要： 简介 索引是具有相同结构的文档集合。在Elasticsearch中索引是个非常重要的内容，对Elasticsearch的大部分操作都是基于索引来完成的。同时索引可以类比关系型数据库Mysql中的数据库database 创建索引 创建索引的时候可以通过修改number of shards和 numbe 阅读全文

摘要： 面向文档 document数据格式 Java数据 数据库数据 Json数据 集群管理 green：每个索引的primary shard和replica shard都是active状态的yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是ac 阅读全文

摘要： 预先设置 在进行聚合分析的是皇后首先把文本的field的fielddata属性设置为true 计算每个tag下的商品数量 结果 包含yagao的商品，计算每个tag下的商品数量 先分组，再算每组的平均值，计算每个tag下的商品的平均价格 结果 计算每个tag下的商品的平均价格，并且按照平均价格降序排 阅读全文

摘要： Elasticsearch是一套分布式的系统，分布式是为了应对大数据量隐藏了复杂的分布式机制 分片机制 shard = hash(routing) % number_of_primary_shards Routing值可以是一个任意的字符串，默认情况下，它的值为存数数据对应文档 _id 值，也可以是 阅读全文

摘要： 获取客户端对象 ## 创建索引 新建文档 查询索引 更新文档 删除文档 查询所有 通配符查询 模糊查询 添加mapping 原文：http://hphblog.cn/2018/12/16/Elasticsearch%E7%9A%84JavaAPI/ 阅读全文