随笔分类 - 工作总结
摘要：背景 公司有一个业务场景，数据库的修改需要同步到Elasticsearch里，但是该场景的修改频率有点高，经常会出现一条记录短时间内多次的变化，如果每次变化都作为一次ES同步任务，那ES肯定是受不住的。 思路 通过估算请求规模，主要有如下2方面的解决思路： 高频变化去重：因为同一条记录短时间内多次变
阅读全文
摘要：来自：随手记技术团队（微信号：sui tech）背景虽然笔者是Android开发工程师，但也接触过各种IDE（不限于Android开发）。不同的IDE往往都有不同的快捷键，我们总不能对每种IDE都进行配置吧。实际上，现在大部分IDE都能通过插件的形式支持Vim了。所以，只需要掌握Vim的基本使用，在
阅读全文
摘要：这篇用来收纳看到过的一些资料&文档, 当作备份和查询的入口. 主要包括IT领域的系统学习资料、各类工具的使用、Linux的常用操作、macOS的小用法等等😝 庞大的计算机科学 比较系统的学习资料: CS Notes CyC2018(郑永川)的GitHub ☆☆☆☆☆ InterviewMa
阅读全文
摘要： springboot2本地锁实践一文中提到用Guava Cache实现锁机制，但在集群中就行不通了，所以我们还一般要借助类似Redis、ZooKeeper 之类的中间件实现分布式锁，下面我们将利用自定义注解、Spring Aop、Redis Cache
阅读全文
摘要：概述 本文内容主要 关于spring redis 关于redis的key设计 redis的基本数据结构 介绍redis与springboot的整合 sringboot中的redistemplate的使用 之前看了很多博客，大都都只是粗略的介绍，这里想要记录的全面一些，也算是一个学习的过程 首发于我的
阅读全文
摘要：转载：http://blog.csdn.net/liuxiao723846/article/details/50401406 1、使用了jedis客户端，对redis进行了封装，包括： 1）使用了redispool获取连接；以及连接的回收； 2）常用五种数据结构的常用操作封装； 1 package
阅读全文
摘要：<! flowchart 箭头图标 勿删 Reids windows版本安装 redis windows官网推荐：https://github.com/MicrosoftArchive/redis/releases 下载解压即可。 启停bat脚本 install D:\redis\redis ser
阅读全文
摘要：[版权申明：本文系作者原创，转载请注明出处] 文章出处：http://blog.csdn.net/sdksdk0/article/details/53966430作者：朱培 ID：sdksdk0 首先祝大家20
阅读全文
摘要：前言：目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：elasticsearch jdbc, elasticsearch river MySQL , go mysql elasticsearch, logstash input jdbc。 本文
阅读全文
摘要：业务需要把mysql的数据实时同步到ES，实现低延迟的检索到ES中的数据或者进行其它数据分析处理。本文给出以同步mysql binlog的方式实时同步数据到ES的思路, 实践并验证该方式的可行性，以供参考。 mysql binlog日志 mysql的binlog日志主要用于数据库的主从复制与数据恢复
阅读全文
摘要：1、题记 工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率！ 2、工具分类概览 2.1 基础类工具 1、Head插件 1）功能概述： ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）比较
阅读全文
摘要：如果从企业应用的生存率来看，选择企业团队信息作为主要业务，HipChat的起点绝非主流；但是如果从赚钱的角度上看，企业市场的高收益确实值得任何公司追逐，这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。 同时，或许你不知道的是，在At
阅读全文
摘要：数据平台已迭代三个版本，从一开始遇到很多常见的难题，到现在终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，但愿能帮助大家少走些弯路，在此篇幅中偏重于ElasticSearch的优化。 一、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天
阅读全文
摘要：刚完成了一个存储百亿级数据，响应时间要求10毫秒内的交易系统数据存储设计方案，现在有空整理一下思维。 一、分库分表 1.实时数据和历史数据分离 分为ABC表，AB表每日日切，只存储1天数据，每到24点切另外1张表。C表存储历史数据，T 1数据日终批量AB表迁移至C表 这样实现动态数据和静态数据之间的
阅读全文
摘要：实战：上亿数据如何秒查？ 发布于 2016年07月01日 ! 资讯详情页上方 (adsbygoogle = window.adsbygoogle || []).push({}); 开发四年只会写业务代码，分布式高并发都不会还做程序员？ 最近在忙着优化集团公司的一个报表。优化
阅读全文
摘要：背景关系型数据库在执行计数任务时，其执行效率会随着数据量级的增长而降低；当数据量达到亿级别时，计数任务的执行效率已经低到令人不忍直视。在闲鱼团队的关系系统中，我们采用了这样一种方式来实现亿级别数据的毫秒级计数。挑战闲鱼现有的业务场景中，用户收藏宝贝、关注他人的数据量，已经达到亿级别。传统的关系型数据
阅读全文
摘要：<! flowchart 箭头图标 勿删 财务平台进行分录分表以后，随着数据量的日渐递增，业务人员对账务数据的实时分析响应时间越来越长，体验性慢慢下降，之前我们基于mysql的性能优化做了一遍，可以说基于mysql该做的优化已经基本上都做了，本次是基于elasticsearch对其做进一步的性能优化
阅读全文
摘要：这本书知识范围广，但都浅尝辄止，可以用来开阔视野，由于之前看过李智慧的《大型网站技术架构》，有部分内容是重合的，所以翻起来比较快。这里只记录下之前没太了解的点第1章：交易型系统设计的一些原则开场白太棒了，想全部记录下来，本章还记录了一些设计的原则。1、一个好的设计要做到，解决现有需求和问题，把控实现
阅读全文
摘要：本文将会简单介绍Kubernetes的核心概念。因为这些定义可以在Kubernetes的文档中找到，所以文章也会避免用大段的枯燥的文字介绍。相反，我们会使用一些图表（其中一些是动画）和示例来解释这些概念。我们发现一些概念（比如Service）如果没有图表的辅助就很难全面地理解。在合适的地方我们也会提
阅读全文
摘要：【编者的话】选择Kubernetes 或者 Swarm 就像在将 Linux 桌面发行版的范围缩小到两个后选出一个最喜欢的。哪个更满足你的需要如何才是决定因素。 【3 天烧脑式基于Docker的CI/CD实战训练营 | 北京站】本次培训围绕基于Docker的CI/CD实战展开，具体内容包括：持续集成
阅读全文
浙公网安备 33010602011771号