摘要：
导读 本文主要介绍如何基于Levenshtein和Damerau Levenshtein自动机技术高效地解决在搜索引擎系统中相似字符串快速查找问题的技术原理和操作实践。文中创造性地提出一种Damerau Levenshtein自动机的有效构建算法，并创造性地给出了利用Levenshtein自动机和D 阅读全文
posted @ 2021-09-22 23:30
ludongguoa
阅读(808)
评论(0)
推荐(0)
摘要：
大数据文摘投稿作品知识图谱数据库是NoSQL数据库中增速最快的一个分支，它在大数据和人工智能领域的地位逐渐凸显。但是目前主流的图数据库产品大都属于海外产品，且售价极其高昂，为了解各大主流图数据库的读写性能指标，特将国产的新兴图数据库AbutionGraph（AbutionGDB）与Neo4j，Jan 阅读全文
posted @ 2021-09-22 23:28
ludongguoa
阅读(956)
评论(0)
推荐(0)
摘要：
1、快速入门 Docker 最初 dotCloud 公司内部的一个业余项目 Docker 基于 Go 语言 Docker 项目的目标是实现轻量级的操作系统虚拟化解决方案 Docker 的基础是 Linux 容器（LXC）等技术 Docker 容器的启动可以在秒级实现，这相比传统的虚拟机方式要快得多 阅读全文
posted @ 2021-09-22 23:27
ludongguoa
阅读(1502)
评论(0)
推荐(0)
摘要：
作者：胡加华&冯明潇 部门：数据中台 一、前言 随着近几年业务快速发展与迭代，大数据的成本也水涨船高，如何优化成本，建设低成本高效率的底层服务成为了有赞数据基础平台2020年的主旋律。本文主要介绍了随着云原生时代的到来，经历7年发展的有赞离线计算平台如何拥抱云原生，通过容器化改造、弹性伸缩、大数据组 阅读全文
posted @ 2021-09-22 23:26
ludongguoa
阅读(865)
评论(0)
推荐(0)
摘要：
本文提纲如下 0. 前言 1. 单数据源事务 & 多数据源事务 2. 常见分布式事务解决方案 2.1. 分布式事务模型 2.2. 二将军问题和幂等性 2.3. 两阶段提交（2PC） & 三阶段提交（3PC）方案 2.4. TCC 方案 2.5. 事务状态表方案 2.6. 基于消息中间件的最终一致性事 阅读全文
posted @ 2021-09-22 23:23
ludongguoa
阅读(279)
评论(0)
推荐(0)
摘要：
Nginx 是一个高性能的 HTTP 和反向代理服务器，特点是占用内存少，并发能力强，事实上 Nginx 的并发能力确实在同类型的网页服务器中表现较好。 Nginx 专为性能优化而开发，性能是其最重要的要求，十分注重效率，有报告 Nginx 能支持高达 50000 个并发连接数。 Nginx 知识网 阅读全文
posted @ 2021-09-22 23:21
ludongguoa
阅读(59)
评论(0)
推荐(0)
摘要：
应技术琐话之约，试图写一篇讨论架构方法论的文章，然而动笔之后，才发现，自己似乎陷入了Frederick P. Brooks先生在《设计原本》一书中指出的问题：“设计中最困难的部分在于决定要设计什么”。 2020年1月18日，有人戏称是“中台”历史上最“困难”的一天，一篇炸圈的文章将对“中台”的讨论又 阅读全文
posted @ 2021-09-22 23:19
ludongguoa
阅读(451)
评论(0)
推荐(0)
摘要：
一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿，K8s有亿：亿级日服务人次。 一个目标：容器操作 Kubernetes（k8s）是自动化容器操作的开源平台。这 阅读全文
posted @ 2021-09-22 23:17
ludongguoa
阅读(263)
评论(0)
推荐(0)
摘要：
Photo by Priscilla Du Preez on Unsplash 后台服务可以划分为两类，有状态和无状态。高可用对于无状态的应用来说是比较简单的，无状态的应用，只需要通过F5或者任何代理的方式就可以很好的解决。后文描述的主要是针对有状态的服务进行分析。服务端进行状态维护主要是通过磁盘或 阅读全文
posted @ 2021-09-22 23:13
ludongguoa
阅读(274)
评论(0)
推荐(0)
摘要：
大家好，我是 Kaito。 这篇文章我想和你聊一聊 Redis 的最佳实践。 你的项目或许已经使用 Redis 很长时间了，但在使用过程中，你可能还会或多或少地遇到以下问题： 我的 Redis 内存为什么增长这么快？ 为什么我的 Redis 操作延迟变大了？ 如何降低 Redis 故障发生的频率？ 阅读全文
posted @ 2021-09-22 23:12
ludongguoa
阅读(119)
评论(0)
推荐(0)
摘要：
前言 对于互联网公司来说，随着用户量和数据量的不断增加，慢查询是无法避免的问题。一般情况下如果出现慢查询，意味着接口响应慢、接口超时等问题。如果是高并发的场景，可能会出现数据库连接被占满的情况，直接导致服务不可用。 慢查询的确会导致很多问题，我们要如何优化慢查询呢？ 主要解决办法有： 监控sql执行 阅读全文
posted @ 2021-09-22 23:11
ludongguoa
阅读(110)
评论(0)
推荐(0)
摘要：
前言 作为公司代码委员会 golang 分会的理事，我 Review 了很多代码，看了很多别人的 review 评论。发现不少同学 code review 与写出好代码的水平有待提高。在这里，想分享一下我的一些理念和思路。 为什么技术人员包括 leader 都要做 Code Review 谚语曰: 阅读全文
posted @ 2021-09-22 23:09
ludongguoa
阅读(144)
评论(0)
推荐(0)
摘要：
有一种说法是，“一个伟大的程序员相当于10个平庸的程序员”。没有人愿意被贴上了糟糕程序员的标签，但一个可悲的事实是，很多开发人员没有意识到他们自己就属于这一群体。没有人愿意问自己：我是一个糟糕的开发人员吗？ 糟糕的开发人员 如果你还是编程新手，并且担心自己编写的是糟糕的代码，那么可能你还不是高手。不 阅读全文
posted @ 2021-09-22 23:08
ludongguoa
阅读(120)
评论(0)
推荐(0)
摘要：
Yugabyte DB 是一个全球部署的分布式数据库，和国内的 TiDB 和国外的 CockroachDB 类似，也是受到 Spanner 论文启发，所以在很多地方这几个数据库存在不少相似之处。 与 Cockroach 类似，Yugabyte 也主打全球分布式的事务数据库——不仅能把节点部署到全球各 阅读全文
posted @ 2021-09-22 23:06
ludongguoa
阅读(269)
评论(0)
推荐(0)
摘要：
大家好，我是 Kaito。 这篇文章，我想和你聊一聊在使用 Redis 时，可能会踩到的「坑」。 如果你在使用 Redis 时，也遇到过以下这些「诡异」的场景，那很大概率是踩到「坑」了： 明明一个 key 设置了过期时间，怎么变成不过期了？ 使用 O(1) 复杂度的 SETBIT 命令，Redis 阅读全文
posted @ 2021-09-22 15:12
ludongguoa
阅读(163)
评论(0)
推荐(0)
摘要：
先预告一下 Kafka 系列文章，大家敬请期待哦： 以讲解性能作为 Kafka 之旅的开篇之作，让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性能优化的各种手段，也可以提炼出各种性能优化的方法论，这些方法论也可以应用到我们自己的项目之中，助力我们写出高性能的项目。 阅读全文
posted @ 2021-09-22 15:10
ludongguoa
阅读(202)
评论(0)
推荐(0)
摘要：
前言 作为一名开发人员，你是不是经常碰到领导让你上服务器去修改 Nginx 配置，然而你会以“我是前端，这个我不会”为理由搪塞过去呢！今天就让我们一起告别这种尴尬，向“真正”的程序员迈进！！！ 如果本文对你有所帮助，请点个👍 👍 👍 吧！ Nginx 概述 Nginx 是开源、高性能、高可靠的 阅读全文
posted @ 2021-09-22 15:09
ludongguoa
阅读(240)
评论(0)
推荐(0)
摘要：
监控作为底层基础设施的一环，是保障生产环境服务稳定性不可或缺的一部分，线上问题从发现到定位再到解决，通过监控和告警手段可以有效地覆盖了「发现」和「定位」，甚至可以通过故障自愈等手段实现解决，服务开发和运维人员能及时有效地发现服务运行的异常，从而更有效率地排查和解决问题。 一、Prometheus介绍 阅读全文
posted @ 2021-09-22 15:08
ludongguoa
阅读(326)
评论(0)
推荐(0)
摘要：
图片来自 Pexels 二叉树 满足以下两个条件的树就是二叉树： 本身是有序树（若将树中每个结点的各子树看成是从左到右有次序的(即不能互换），则称该树为有序树(Ordered Tree)）。 树中包含的各个节点的度不能超过 2，即只能是 0、1 或者 2。 简单地理解，二叉树（Binary tree 阅读全文
posted @ 2021-09-22 15:07
ludongguoa
阅读(90)
评论(0)
推荐(0)
摘要：
在Kubernetes中要保证容器之间网络互通，网络至关重要。而Kubernetes本身并没有自己实现容器网络，而是通过插件化的方式自由接入进来。在容器网络接入进来需要满足如下基本原则： Pod无论运行在任何节点都可以互相直接通信，而不需要借助NAT地址转换实现。 Node与Pod可以互相通信，在不 阅读全文
posted @ 2021-09-22 15:03
ludongguoa
阅读(115)
评论(0)
推荐(0)
摘要：
01Hash分区 vs. Range分区 用户在使用分布式数据库时，最想要的是既能将计算压力均摊到不同的计算节点(CN)，又能将数据尽量散列在不同的存储节点(DN)，让系统的存储压力均摊到不同的DN。对于将计算压力均摊到不同的CN节点，业界的方案一般比较统一，通过负载均衡调度，将业务的请求均匀地调度 阅读全文
posted @ 2021-09-22 15:02
ludongguoa
阅读(375)
评论(0)
推荐(0)
摘要：
世界上大多数事物的发展规律是相似的，在最开始往往都会出现相对通用的方案解决绝大多数的问题，随后会出现为某一场景专门设计的解决方案，这些解决方案不能解决通用的问题，但是在某些具体的领域会有极其出色的表现。而在计算领域中，CPU（Central Processing Unit）和 GPU（Graphic 阅读全文
posted @ 2021-09-22 15:01
ludongguoa
阅读(668)
评论(0)
推荐(1)
摘要：
最近在做数据库相关的事情，碰到了很多TCP相关的问题，新的场景新的挑战，有很多之前并没有掌握透彻的点，大大开了一把眼界，选了几个案例分享一下。案例一：TCP中并不是所有的RST都有效背景知识在TCP协议中，包含RST标识位的包，用来异常的关闭连接。在TCP的设计中它是不可或缺的，发送RST段关闭连接 阅读全文
posted @ 2021-09-22 15:01
ludongguoa
阅读(250)
评论(0)
推荐(0)
摘要：
正文开始 本文有9000字，预计阅读20分钟，可以先收藏 这是一篇关于数据治理的综述，希望通过这篇文章让大家对数据治理有全新的认识，后面列出了所有的参考文献，方便拓展学习。注：文末有《数据治理规范》及《银行业金融机构数据治理指引》PDF下载1、数据治理历史探究“数据治理”的历史可以发展分为三个阶段。 阅读全文
posted @ 2021-09-22 14:48
ludongguoa
阅读(1726)
评论(0)
推荐(0)
摘要：
一般情况下 Kubernetes 可以通过 ReplicaSet 以一个 Pod 模板创建多个 pod 副本，但是它们都是无状态的，任何时候它们都可以被一个全新的 pod 替换。然而有状态的 pod 需要另外的方案确保当一个有状态的 pod 挂掉后，这个 pod 实例需要在别的节点上重建，但是新的实 阅读全文
posted @ 2021-09-22 14:47
ludongguoa
阅读(1041)
评论(0)
推荐(0)
摘要：
又到了金三银四跳槽季，好多同学已经行动了。今天我来助力一把，送出这套redis面试题，助力大家通关。 1 redis为什么响应快 1.1数据保存在内存中 redis数据保存在内存中，读写操作只要访问内存，不需要磁盘IO。 1.2.底层数据结构 redis的数据以key:value的格式存储在散列表中 阅读全文
posted @ 2021-09-22 14:46
ludongguoa
阅读(279)
评论(0)
推荐(0)
摘要：
Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。 一、常用参数说明 --driver-memory 4g : driver内存大小，一般没有广播变量(broadcast)时，设置4g足够，如果有广播变量，视情况而定，可设 阅读全文
posted @ 2021-09-22 14:45
ludongguoa
阅读(216)
评论(0)
推荐(0)
摘要：
关于IO会涉及到阻塞、非阻塞、多路复用、同步、异步、BIO、NIO、AIO等几个知识点。知识点虽然不难但平常经常容易搞混，特此Mark下，与君共勉。 1 阻塞跟非阻塞 1.1 阻塞 阻塞IO阻塞IO情况下，当用户调用read后，用户线程会被阻塞，等内核数据准备好并且数据从内核缓冲区拷贝到用户态缓存区 阅读全文
posted @ 2021-09-22 14:42
ludongguoa
阅读(74)
评论(0)
推荐(0)
摘要：
前言 我们刷leetcode的时候，经常会遇到动态规划类型题目。动态规划问题非常非常经典，也很有技巧性，一般大厂都非常喜欢问。今天跟大家一起来学习动态规划的套路，文章如果有不正确的地方，欢迎大家指出哈，感谢感谢~ 什么是动态规划？ 动态规划的核心思想 一个例子走进动态规划 动态规划的解题套路 lee 阅读全文
posted @ 2021-09-22 14:42
ludongguoa
阅读(1172)
评论(0)
推荐(0)
摘要：
导读 随着MySQL 8.0的发布，MySQL的功能和性能有了较大的增强，越来越多的企业都选择了使用成本低且部署方案灵活的MySQL数据库。那么，将数据从当前数据库迁移到MySQL时，从应用层、数据库层都需要注意哪些方面？为了顺利完成复杂的迁移工作又需要考虑和解决哪些方面的问题？ 本文以Oracle 阅读全文
posted @ 2021-09-22 14:41
ludongguoa
阅读(357)
评论(0)
推荐(0)
摘要：
ClickHouse简介 2020年下半年在OLAP领域有一匹黑马以席卷之势进入大数据开发者的领域，它就是ClickHouse。在2019年小编也曾介绍过ClickHouse，大家可以参考这里进行入门：来自俄罗斯的凶猛彪悍的分析数据库-ClickHouse基于ClickHouse的用户行为分析实践P 阅读全文
posted @ 2021-09-22 14:39
ludongguoa
阅读(964)
评论(0)
推荐(0)
摘要：
RocketMQ发展历史 RocketMQ是一个由阿里巴巴开源的消息中间件，2012年开源，2017年成为apache顶级项目。RocketMQ在阿里内部应用是非常广泛的，阿里内部的几千个应用都运行在RocketMQ之上，双十一期间需要处理亿万级别的消息，TPS可以达到几十万。目前支持Java、C/ 阅读全文
posted @ 2021-09-22 14:38
ludongguoa
阅读(551)
评论(0)
推荐(0)
摘要：
前言 中间件——一种应用于分布式系统的基础软件，自上世纪80年代诞生以来，在分布式环境中低调地发挥着重要作用。基于中间件，系统软件与应用软件之间实现了高效连接与沟通，应用开发得以提速。根据华为《鲲鹏计算产业发展白皮书》，至2023年，全球中间件市场空间将达到434亿美元，5年CAGR为10.3%。本 阅读全文
posted @ 2021-09-22 14:37
ludongguoa
阅读(2364)
评论(0)
推荐(0)
浙公网安备 33010602011771号