摘要：
业务需要把mysql的数据实时同步到ES，实现低延迟的检索到ES中的数据或者进行其它数据分析处理。本文给出以同步mysql binlog的方式实时同步数据到ES的思路, 实践并验证该方式的可行性，以供参考。 mysql binlog日志 mysql的binlog日志主要用于数据库的主从复制与数据恢复 阅读全文
posted @ 2019-05-05 10:19
星朝
阅读(2645)
评论(0)
推荐(0)
摘要：
1、题记 工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率！ 2、工具分类概览 2.1 基础类工具 1、Head插件 1）功能概述： ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）比较 阅读全文
posted @ 2019-05-05 10:15
星朝
阅读(570)
评论(0)
推荐(0)
摘要：
如果从企业应用的生存率来看，选择企业团队信息作为主要业务，HipChat的起点绝非主流；但是如果从赚钱的角度上看，企业市场的高收益确实值得任何公司追逐，这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。 同时，或许你不知道的是，在At 阅读全文
posted @ 2019-05-05 09:59
星朝
阅读(4165)
评论(0)
推荐(0)
摘要：
数据平台已迭代三个版本，从一开始遇到很多常见的难题，到现在终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，但愿能帮助大家少走些弯路，在此篇幅中偏重于ElasticSearch的优化。 一、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天 阅读全文
posted @ 2019-05-05 09:40
星朝
阅读(1572)
评论(0)
推荐(0)
摘要：
刚完成了一个存储百亿级数据，响应时间要求10毫秒内的交易系统数据存储设计方案，现在有空整理一下思维。 一、分库分表 1.实时数据和历史数据分离 分为ABC表，AB表每日日切，只存储1天数据，每到24点切另外1张表。C表存储历史数据，T 1数据日终批量AB表迁移至C表 这样实现动态数据和静态数据之间的 阅读全文
posted @ 2019-05-05 09:34
星朝
阅读(801)
评论(0)
推荐(0)
摘要：
实战：上亿数据如何秒查？ 发布于 2016年07月01日 ! 资讯详情页上方 (adsbygoogle = window.adsbygoogle || []).push({}); 开发四年只会写业务代码，分布式高并发都不会还做程序员？ 最近在忙着优化集团公司的一个报表。优化 阅读全文
posted @ 2019-05-05 09:26
星朝
阅读(356)
评论(0)
推荐(0)
摘要：
背景关系型数据库在执行计数任务时，其执行效率会随着数据量级的增长而降低；当数据量达到亿级别时，计数任务的执行效率已经低到令人不忍直视。在闲鱼团队的关系系统中，我们采用了这样一种方式来实现亿级别数据的毫秒级计数。挑战闲鱼现有的业务场景中，用户收藏宝贝、关注他人的数据量，已经达到亿级别。传统的关系型数据 阅读全文
posted @ 2019-05-05 09:25
星朝
阅读(672)
评论(0)
推荐(0)
摘要：
<! flowchart 箭头图标 勿删 财务平台进行分录分表以后，随着数据量的日渐递增，业务人员对账务数据的实时分析响应时间越来越长，体验性慢慢下降，之前我们基于mysql的性能优化做了一遍，可以说基于mysql该做的优化已经基本上都做了，本次是基于elasticsearch对其做进一步的性能优化 阅读全文
posted @ 2019-05-05 09:23
星朝
阅读(474)
评论(0)
推荐(0)
摘要：
这本书知识范围广，但都浅尝辄止，可以用来开阔视野，由于之前看过李智慧的《大型网站技术架构》，有部分内容是重合的，所以翻起来比较快。这里只记录下之前没太了解的点第1章：交易型系统设计的一些原则开场白太棒了，想全部记录下来，本章还记录了一些设计的原则。1、一个好的设计要做到，解决现有需求和问题，把控实现 阅读全文
posted @ 2019-05-05 09:10
星朝
阅读(677)
评论(0)
推荐(0)
浙公网安备 33010602011771号