摘要： spark为什么比mapreduce快？ 首先澄清几个误区： 1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的 2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），而不是shuffle次数，因为shuf 阅读全文

摘要： 引言 近期在参与编写平台工程系列标准时，我发现开发者体验 (DevEx) 是一个不可忽视的关键因素，它对于构建一个成功的平台工程起到了重要的作用，DevEx 可以称之为平台工程的基础。基于我最近的学习和思考，我决定写这篇文章，想深入探讨一下 DevEx 对于内部开发平台的重要性，也希望为从事内部开发 阅读全文

摘要： 背景 营销系统中，客户投诉是业务发展的一大阻碍，一般会过滤掉黑名单高风险账号，并配合频控策略，来减少客诉，进而增加营销效率，减少营销成本，提升营销质量。 营销系统一般是通过大数据分析建模，在CDP（客户数据平台，以客户为核心，围绕数据融合、人群圈选、用户洞察等提供产品能力）创建营销目标客户群体，黑名 阅读全文

摘要： 引言 最初考虑引用“ DevOps 已死，平台工程才是未来”作为标题，但这样的表达可能太过于绝对。最终，决定用了“扯淡的”这个词来描述 DevOps，但这并不是一种文明的表达方式。 文章旨在重新审视 DevOps 和平台工程，将分别探讨 DevOps 和平台工程的概念，并重点分析平台工程所倡导的一些 阅读全文

摘要： 在我们的测试工作中，是不是经常遇到这样的情形，发生了线上问题，产品、研发或者测试同学一拍脑袋：当时怎么没有想到，怎么给漏掉了呢？明明是一个非常简单的事情，用大拇指都能想到的验证场景，为何当时就漏测了呢？但实际情况是，逃逸到线上的缺陷，疑难杂症式的极端异常的问题很少，大部分都不复杂且可以在设计和开发中 阅读全文

摘要： 1. 问题背景 问题的背景是这样的，在最近需求开发中遇到需要将给定目标数据通过某一固定的计量规则进行过滤并打标生成明细数据，其中发现存在一笔目标数据的时间在不符合现有日期规则的条件下，还是通过了规则引擎的匹配打标操作。故而需要对该错误匹配场景进行排查，定位其根本原因所在。 2. 排查思路 2.1 数 阅读全文

摘要： 前言 笔者近日在做代码仓库的存量代码缩减工作，首先考虑的是基于静态扫描的缩减，尝试使用了很多工具来对代码进行优化，例如PMD、IDEA自带的inspect功能、findBugs等。但是无一例外，要么过于“保守”，只给出扫描结果，但是无法实现一键优化，要么直接就是有bug（这里特指IDEA2023.1 阅读全文

摘要： 前言 2022年1月，京东成为央视总台2022年春节联欢晚会独家互动合作伙伴，双方在红包互动、电商等方面展开全方位深度合作。在除夕当天产生691亿次互动，送出15亿元红包好物。 如何在这种大规模、高并发的场景下，确保系统的稳定性和性能，为用户提供稳定流畅的互动体验，成为了我们亟待解决的问题。 接下来 阅读全文

摘要： 一、ASM介绍 1、ASM 是什么 ASM是一个通用的Java字节码操作和分析框架。它可以用于修改现有类或直接以二进制形式动态生成类。ASM提供了一些常见的字节码转换和分析算法，可以从中构建定制的复杂转换和代码分析工具。ASM提供了与其他Java字节码框架类似的功能，但侧重于性能。由于它的设计和实现 阅读全文

摘要： ​ 一、什么是大文件 一般，我们传送大文件是指传送大于100M的文件，而普通文件是指小于100M，常见的是20M、30M和50M，两者主要的区别在于文件大小上，还有传送速度上。 一般普通“邮件附件”只能发20M、30M，50M的文件，而几百M的照片、文件、设计图等大文件传送起来就不是那么容易了。 二 阅读全文