摘要： 一、技术选型 ### 技术选型方案 ~~~ # 框架选型 Apache / 第三方发行版（CDH / HDP / Fusion Insight） Apache社区版本优点： ~~~ 完全开源免费 ~~~ 社区活跃 ~~~ 文档、资料详实 ~~~ # 缺点： ~~~ 复杂的版本管理 ~~~ 复杂的集群 阅读全文

摘要： 一、业务数据库表结构 ### 业务数据库：数据源 ~~~ 交易订单表（yanqi_trade_orders） ~~~ 订单产品表（yanqi_order_product） ~~~ 产品信息表（yanqi_product_info） ~~~ 产品分类表（yanqi_product_category） 阅读全文

摘要： 一、需求分析 ### 需求分析 ~~~ 日志数据：启动日志、点击日志（广告点击日志） ~~~ 业务数据：用户下单、提交订单、支付、退款等核心交易数据的分析 ~~~ 广告流量实时统计： 生成动态黑名单 ~~~ 恶意刷单：一旦发现恶意刷单时进行实时告警 ~~~ 基于动态黑名单进行点击行为过滤 计算每隔5 阅读全文

摘要： 一、项目背景与需求 ### 项目背景 ~~~ 随着互联网的发展，数据的时效性对企业的精细化运营越来越重要， 商场如战场， ~~~ 在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， ~~~ 对企业的决策运营策略调整有很大帮助。 ~~~ 此外，随着 5G 技术的成熟、广泛应用， 对于互联网、 阅读全文

摘要： 一、实时数仓转型故事：离线数仓： 二、离线数仓分层架构图： 三、实时计算架构： 四、数据计算架构说明 ~~~ # 收集层： ~~~ Binlog（业务日志）、loT(物联网)、后端服务日志（系统日志） ~~~ 经过日志收集团队和 DB 收集团队的处理，数据将会被收集到 Kafka 中。 ~~~ 这些 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、ES集群调优策略 ### ES集群调优策略 ~~~ JavaBBSELK日志平台中Elasticsearch实例节点数不到10个， ~~~ 考虑到资金投入、当前及未来一定时间内数据的增量情况等， ~~~ 研发和运维团队在竭尽所能的通过调优方式保证Elasticsearch正常高效运转。 ~~~ 阅读全文

摘要： 一、ES集群规划与调优 ### ES集群规划：我们需要多大规模的集群 ~~~ # 需要从以下两个方面考虑： ~~~ 当前的数据量有多大？数据增长情况如何？ ~~~ 你的机器配置如何？cpu、多大内存、多大硬盘容量？ ~~~ # 推算的依据： ~~~ Elasticsearch JVM heap 最大 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、可视化数据定义Dashboard ### 可视化数据定义Dashboard ~~~ ——>kibana-web-UI——>Dashboard——>Create new dashboard——> ~~~ ——>Add——>Add panels：IP地址分布/TOPN/PV/UV——> ~~~ —— 阅读全文

摘要： 一、可视化数据定义配置UV ### 可视化数据定义配置UV ~~~ ——>visualize——>Create new visualization——>New visualization——>Line——> ~~~ ——>New line/Choose a source：logstash-nginx 阅读全文

摘要： 一、可视化数据定义配置IP地理位置分布 ### 可视化数据定义配置IP地理位置分布 ~~~ ——>Visualize——>Create new visualization——> ~~~ ——>New Visualization：Coordinate Map——> ~~~ ——>New Coordin 阅读全文

摘要： 一、可视化数据定义配置TOPN ### 可视化数据定义配置TOPN ~~~ ——>Visualize——>Create new visualization——> ~~~ ——>New Visualization：Data Table——> ~~~ ——>New Data Table/Choose a 阅读全文

摘要： 一、可视化数据定义配置PV ### 可视化数据定义配置PV ~~~ ——>kibana-web-UI——>Visualize——>Create new visualization——> ~~~ ——>Line——>New line/Choose a source——>Logstash-nginx-a 阅读全文

摘要： 一、Logstash读取Kafka ### Logstash配置文件 ~~~ 官网地址：https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html ### 上传IP地址库 ~~~ # 上传IP地址库到Datas目录下 阅读全文

摘要： 一、kibana对es里面的数据进行可视化的分析 ### 启动kibana服务服务 ~~~ # 启动kibana服务 [root@hadoop02 ~]# nohup /opt/yanqi/servers/es/kibana/bin/kibana >/dev/null 2>&1 & 二、kibana 阅读全文

摘要： 一、日志分析平台实战 二、Nginx部署 ### 安装git工具，安装wget下载工具 ~~~ # 安装相关工具包：Hadoop02 [root@hadoop02 ~]# yum install wget git -y [root@hadoop02 ~]# yum install gcc-c++ - 阅读全文

摘要： 一、Filebeat ### Filebeat ~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题， ~~~ 因为Logstash是Java语言编写， ~~~ 所以官方推出了一些轻量级的采集工具，推出了Beats系列，其中使用比较广泛的是Filebeat。 ~~~ 官 阅读全文

摘要： 一、Output插件：标准输出到控制台 ### 标准输出到控制台 ~~~ # 将收集的数据直接打印到控制台 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \ -e 'input{stdin{}}output{stdout 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Input插件部署 ## Input插件部署 ~~~ stdin标准输入和stdout标准输出 ## 使用标准的输入与输出组件 ~~~ # 使用标准的输入与输出组件，实现将我们的数据从控制台输入，从控制台输出 [root@hadoop02 ~]# /opt/yanqi/servers/es/Lo 阅读全文

摘要： 一、filter插件 ### Filter插件 ~~~ Logstash之所以强悍的主要原因是filter插件； ~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。 ~~~ 官网地址：https://www.elastic.co/guide/en/Logstash/current/plugi 阅读全文

摘要： 一、Logstash ### Logstash介绍及安装 ~~~ 官网：https://www.elastic.co/guide/index.html ~~~ Logstash：https://www.elastic.co/guide/en/logstash/current/index.html # 阅读全文

摘要： 一、DocValues机制 ### 为什么要有 Doc Values ~~~ ElasticSearch 之所以搜索这么快速，归功于它的 倒排索引的设计，然而它也不是万能的， ~~~ 倒排索引的检索性能是非常快的，但是在字段值排序时却不是理想的结构。 ~~~ 下面是一个简单的 倒排索引的结构 ### 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、调表实现：编程实现 ### 调表实现：编程实现 package com.yanqi.es; import java.util.Comparator; //存储kv类型数据 public class SkipList<K, V> { //头节点 private Node<K, V> first; 阅读全文

摘要： 一、并发冲突处理机制剖析 ### 详解并发冲突 ~~~ # 在电商场景下，工作流程为： ~~~ 读取商品信息，包括库存数量 ~~~ 用户下单购买 ~~~ 更新商品信息，将库存数减一 ~~~ 如果是多线程操作，就可能有多个线程并发的去执行上述的3步骤流程， ~~~ 假如此时有两个人都来读取商品数据，两 阅读全文

摘要： 一、分布式数据一致性 ### 分布式数据一致性 ~~~ 在分布式环境下，一致性指的是多个数据副本是否能保持一致的特性。 ~~~ 在一致性的条件下，系统在执行数据更新操作之后能够从一致性状态转移到另一个一致性状态。 ~~~ 对系统的一个数据更新成功之后，如果所有用户都能够读取到最新的值， ~~~ 该系 阅读全文

摘要： 一、SkipList应用 ### 概述 ~~~ 假设某个索引字段中有sex,address字段，检索条件为：sex='female' and address='北京'， ~~~ 给定查询过滤条件 sex='female'的过程就是先从 term index ~~~ 找到 femal 在 term d 阅读全文

摘要： 一、Trie(扩展) ### Trie 被称作做字典树、前缀树（Prefix Tree）、单词查找树 ~~~ Trie 搜索字符串的效率主要跟字符串的长度有关(O(len(单词))) ~~~ 使用 Trie 存储 cat->1、dog->2、doggy->3、does->4、cast->5、add- 阅读全文

摘要： 一、存储文件详解 ### 存储文件详解说明 ~~~ 通过ES-HEAD插件可以查看到一个索引的分片信息，图中一个绿色方块就代表一个分片Shard; ~~~ ES使用Lucene来处理shard级别的索引和查询， ~~~ 因此数据目录中的文件由Elasticsearch和Lucene共同编写。 ~~~ 阅读全文

摘要： 一、Elasticsearch中的数据结构 ### 倒排索引详解：概述 ~~~ 倒排索引是全文检索的根基，理解了倒排索引之后才能算是入门了全文检索领域。 ~~~ 倒排索引的的概念很简单，也很好理解。Elasticsearch/Lucene是如何实现这个结构的呢？ Term Doc_1 Doc_2 Q 阅读全文

摘要： 一、环境准备 ### 查询操作：准备数据 ~~~ # 添加数据一： POST /es_test/_doc/1 { "name": "hadoop添加文档", "description": "hadoop技术栈", "studymodel":"online", "pic": "http://www.b 阅读全文

摘要： 一、Elasticsearch之原理剖析 ### 倒排索引 ~~~ Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。 ~~~ 一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。 ### 例如，假设我们有两个文档，每个文档是如下内容： 阅读全文

摘要： 一、Java API操作ES：文档操作 ### 编程实现：文档操作；添加doc ~~~ # 步骤五：文档操作；添加doc @Test public void addDoc() throws IOException { //准备一个添加文档的对象 final IndexRequest indexReq 阅读全文

摘要： 一、Java API操作ES：查询操作 ### 查询操作：termquery ~~~ # 步骤八：查询操作：termquery @Test public void termQuery() throws IOException { //根据关键字 不分词检索 final SearchRequest s 阅读全文

摘要： 一、Java API操作ES：创建索引：方法一 ### 创建索引：方法一 ~~~ # 步骤二：方法一：创建索引 @Test public void createIndex() { final CreateIndexRequest indexRequest = new CreateIndexReque 阅读全文

摘要： 一、Java API操作ES ### Java API操作ES ### 创建一个maven工程：elasticsearch ~~~ # 官网说明： ~~~ https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.3/java- 阅读全文