06 2019 档案

logstash 入门篇
摘要：场景介绍 基于分布式集群海量日志数据，且分布在不同的服务器上，日志的采集以及可视化是需要我们解决的问题。ELK就是这么一个方案，当然我们这里主要讲解logstash安装配置和基础语法。 ELK帮我们解决了什么问题？ 错误日志分散在大量服务器上, 且错误类型众多, 需要有一个工具能够将所有错误日志汇总 阅读全文
posted @ 2019-06-26 19:45 家迪的家 阅读(806) 评论(0) 推荐(0)
celery worker集群搭建
摘要：举个小栗子，在生产环境下，我们有两个异步任务需求，需要分别部署在两台服务器上，并用不同的队列实现 1. 用户邮件发送 2. pageview统计 主要的注意点，在任务执行时需指定queue,routing_key 文件结构 __init__.py celeryconfig.py task1.py t 阅读全文
posted @ 2019-06-25 14:02 家迪的家 阅读(2760) 评论(0) 推荐(0)
Python操作Redis
摘要：简介 redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用。如果需要另一个Redis实例（or Redis数据库）时，就需要重新创建redis连接实例来获取一个新的连接。同理，python的redis没有实现select命令 安装Redis 安装 安装依赖库 连接 阅读全文
posted @ 2019-06-20 13:46 家迪的家 阅读(451) 评论(0) 推荐(0)
elasticsearch ik分词
摘要：elasticsearch 默认并不支持中文分词，默认将每个中文字切分为一个词，这明显不符合我们的业务要求。这里就需要用到ik分词插件。 本文主要囊括了以下几部分,ik插件安装、ik用法介绍、自定义词典使用 ik插件安装 1. 查找并下载 "对应elasticsearch版本的ik" ，解压 2. 阅读全文
posted @ 2019-06-13 11:06 家迪的家 阅读(936) 评论(0) 推荐(0)
elasticsearch7 配置篇
摘要：学习了这么多，终于开始搭建生产环境了，这一篇主要讲解配置项，以及支持中文分词的ik安装，集群的搭建。 配置项确实挺多的，但把几个常用配置熟悉就好，而且就像elasticsearch官方文档所说，不存在某个使得性能大幅度提升的配置。 配置项 一下子看到这么多配置项，可能就吓坏了，不要怕，用到的并不多。 阅读全文
posted @ 2019-06-12 10:50 家迪的家 阅读(12792) 评论(0) 推荐(0)
elasticsearch Query DSL
摘要：紧接上次入门篇，这一篇主要记录elasticsearch的结构化查询 Query DSL. 结构化查询是一种灵活的，多表现形式的查询语言。 Elasticsearch在一个简单的JSON接口中用结构化查询来展现Lucene绝大多数能力。 你应当在你的产品中采用这种方式进行查询。它使得你的查询更加灵活 阅读全文
posted @ 2019-06-04 14:01 家迪的家 阅读(3847) 评论(0) 推荐(0)