papering - 博客园

2024年9月21日

摘要：一文详解 RocketMQ 如何利用 Raft 进行高可用保障 https://mp.weixin.qq.com/s/TT_NpT3xV9Yhmva73E85Hg 翻译搜索复制阅读全文

posted @ 2024-09-21 21:16 papering 阅读(13) 评论(0) 推荐(0)

摘要： DataX/introduction.md at master · alibaba/DataX · GitHub https://github.com/alibaba/DataX/blob/master/introduction.md 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成阅读全文

posted @ 2024-09-21 10:46 papering 阅读(72) 评论(0) 推荐(0)

2024年9月20日

极速秒传维度表数据上报

摘要：百度云的「极速秒传」使用的是什么技术？搜索服务器中有没有相同的文件，相同就复制，实现秒传。上传大文件时,客户端软件会对要上传的文件进行"哈希值"计算,然后再跟百度的"哈希值"数据库中的文件进行查找匹配。如果发现两者的"哈希值"相同,则将已存在于百度数据库里面的文件与当前用户做关联，具体操作使将阅读全文

posted @ 2024-09-20 22:33 papering 阅读(50) 评论(0) 推荐(0)

类型转换 Cast a pandas object to a specified dtype ``dtype``.

摘要：实践：修改列值分组、排序使用同一字段：整数 --》区间名称字符串 FutureWarning: Setting an item of incompatible dtype is deprecated and will raise in a future error of pandas. Val 阅读全文

posted @ 2024-09-20 18:33 papering 阅读(399) 评论(0) 推荐(0)

2024年9月18日

严格递增的分布式id

摘要：如何生成严格递增的分布式id？ https://mp.weixin.qq.com/s/7lj_hmPHoCxPwntW59EIOQ 翻译搜索复制阅读全文

posted @ 2024-09-18 22:55 papering 阅读(19) 评论(0) 推荐(0)

2024年9月15日

数据分组

摘要： 3种情况分组项，3类情况：1）常规，比如：按照省份分组2）时间，比如：注册时间的按照周、月分组3）数值 3-1）离散分组，同1） 3-2）区间分组比如：屏幕宽度 3-2-1）自定义区间，比如：[0:100),[100,200) 3-2-2）系统计算区间，有多种算法，比如：求出最值，（0,min) 阅读全文

posted @ 2024-09-15 08:51 papering 阅读(51) 评论(0) 推荐(0)

2024年9月14日

数据展示

摘要：用户界面-层级（标头）媒体平台日期付费金额.总和磁力引擎 2024-09-06 123 2024-09-07 456巨量引擎 2024-09-06 789 2024-09-07 900 用户界面-平铺（标头）媒体平台指标 2024-09-07 2024-09-06 巨量引擎付费金额.总阅读全文

posted @ 2024-09-14 11:55 papering 阅读(28) 评论(0) 推荐(0)

2024年9月13日

Windows 终端 SSH 保持长时间连接为 Windows PowerShell 设置 alias 长链接

摘要： C:\Users\someone\.ssh config Host * ServerAliveInterval 1 使用ssh密钥对验证：首先，生成一对密钥对，包括公钥和私钥。可以使用以下命令生成密钥对：“`ssh-keygen -t rsa“` 将公钥拷贝到远程服务器上的~/.ssh/author 阅读全文

posted @ 2024-09-13 15:06 papering 阅读(187) 评论(0) 推荐(0)

2024年9月10日

KISS/DRY/YANGI/SOLID 等程序设计原则第一类代码是炫技，第二类代码才叫专业。

摘要：小结： SOLID Uncle Bob 《敏捷软件开发》 SOLID - SRPSingle Responsibility Principle 单一职责原则A class should have one, and only one, reason to change.SOLID 中最简单的原则，每个阅读全文

posted @ 2024-09-10 12:28 papering 阅读(96) 评论(0) 推荐(1)

2024年9月6日

作用域

摘要： local variable 'e' referenced before assignment 翻译搜索复制阅读全文

posted @ 2024-09-06 23:38 papering 阅读(15) 评论(0) 推荐(0)

a

摘要： a 阅读全文

posted @ 2024-09-06 19:03 papering 阅读(31) 评论(0) 推荐(0)

B站直播的极速排障建设-全链路Trace追踪

摘要： B站直播的极速排障建设-全链路Trace追踪 https://mp.weixin.qq.com/s/gpPauu9gNzsJmrOfZjt5ig 翻译搜索复制阅读全文

posted @ 2024-09-06 13:11 papering 阅读(31) 评论(0) 推荐(0)

消息队列选型

摘要：一篇文搞定消息队列选型 https://mp.weixin.qq.com/s/hn6VWEmuTiDvxHQ9EmbjlA 翻译搜索复制阅读全文

posted @ 2024-09-06 13:01 papering 阅读(21) 评论(0) 推荐(0)

AI 网关零代码解决 AI 幻觉问题

摘要： AI 网关零代码解决 AI 幻觉问题 https://mp.weixin.qq.com/s/xbKgl6J0WDv3ckjBKVhwIQ 翻译搜索复制阅读全文

posted @ 2024-09-06 13:00 papering 阅读(15) 评论(0) 推荐(0)

2024年9月5日

Python 类变动的钩子方法属性方法

摘要： Python 类变动的钩子方法 from typing import Listclass Field: def __init__(self, name, is_user=False): self.name = name self.is_user = is_user def __str__(self) 阅读全文

posted @ 2024-09-05 18:18 papering 阅读(12) 评论(0) 推荐(0)

2024年9月4日

每个程序员都应该了解的硬件知识

摘要：每个程序员都应该了解的硬件知识 https://mp.weixin.qq.com/s/Ol9J1ZWevHSjP2ZIyidK-g 翻译搜索复制阅读全文

posted @ 2024-09-04 23:33 papering 阅读(15) 评论(0) 推荐(0)

2024年8月29日

python 包引入顺序

摘要： isort https://pycqa.github.io/isort/ isort · PyPI https://pypi.org/project/isort/ Before isort: from my_lib import Object import os from my_lib import 阅读全文

posted @ 2024-08-29 11:26 papering 阅读(20) 评论(0) 推荐(0)

2024年8月28日

dataclasses 装饰器

摘要：实践：测试用例 @dataclasses.dataclassclass TestCase: method: str path: str cid: int data: dict query_str: str resp: dict = dataclasses.field(default_factory 阅读全文

posted @ 2024-08-28 14:42 papering 阅读(13) 评论(0) 推荐(0)

2024年8月27日

Python 实现类似于Go语言中的延迟执行语句上下文管理器（Context Manager）

摘要： def defer(msg: str, subject='参数错误'): print('do ') return f'{subject}：{msg}'assert False, defer('66') Python 实现类似于Go语言中的延迟执行语句（defer）|极客笔记 https://deep 阅读全文

posted @ 2024-08-27 17:42 papering 阅读(28) 评论(0) 推荐(0)

软件系统限流的底层原理解析

摘要：小结： 1、 // FixedWindowCounter 结构体实现固定窗口计数器限流算法。// mu 用于同步访问，保证并发安全。// count 记录当前时间窗口内的请求数量。// limit 是时间窗口内允许的最大请求数量。// window 记录当前时间窗口的开始时间。// duration 阅读全文

posted @ 2024-08-27 10:18 papering 阅读(35) 评论(0) 推荐(0)

2024年8月26日

游标翻页模式下的游标值

摘要：开发文档 | 开发者专区 - 腾讯广告 https://developers.e.qq.com/v3.0/docs/enums#api_pagination_mode 分页方式名称描述PAGINATION_MODE_NORMAL普通翻页PAGINATION_MODE_CURSOR游标翻页开发文档阅读全文

posted @ 2024-08-26 18:51 papering 阅读(25) 评论(0) 推荐(0)

当A基数很小时，select B from tbl order by A limit 10查询结果每次不一样

摘要：查询常见问题 | StarRocks https://docs.starrocks.io/zh/docs/faq/Sql_faq/#%E5%BD%93a%E5%9F%BA%E6%95%B0%E5%BE%88%E5%B0%8F%E6%97%B6select-b-from-tbl-order-by-a- 阅读全文

posted @ 2024-08-26 17:39 papering 阅读(73) 评论(0) 推荐(0)

2024年8月23日

回放测试

摘要：回放测试 | AREX https://doc.arextest.com/zh-Hans/docs/chapter3/Traffic%20Replay%20Test/ 回放测试流量录制回放是通过录制生产环境的高保真数据，并快速地在测试环境中进行回放比对接口返回值和中间链路的验证，以减少繁杂的回归测阅读全文

posted @ 2024-08-23 11:35 papering 阅读(295) 评论(0) 推荐(0)

RocketMQ 如何利用 Raft 进行高可用保障

摘要：一文详解 RocketMQ 如何利用 Raft 进行高可用保障 https://mp.weixin.qq.com/s/TT_NpT3xV9Yhmva73E85Hg 翻译搜索复制阅读全文

posted @ 2024-08-23 10:18 papering 阅读(19) 评论(0) 推荐(0)

RocketMQ消息回溯实践与解析

摘要： RocketMQ消息回溯实践与解析 https://mp.weixin.qq.com/s/gI303eszTbTi5hin-dw4UQ 翻译搜索复制阅读全文

posted @ 2024-08-23 10:17 papering 阅读(18) 评论(0) 推荐(0)

实现优雅退出

摘要： Go 程序如何实现优雅退出？来看看 K8s 是怎么做的——上篇 https://mp.weixin.qq.com/s/UR6Rf1ewthI8qU3A7Szfzg Go 程序如何实现优雅退出？来看看 K8s 是怎么做的——下篇 https://mp.weixin.qq.com/s/oztrz9WfC 阅读全文

posted @ 2024-08-23 10:16 papering 阅读(17) 评论(0) 推荐(0)

2024年8月22日

高性能无锁队列 Disruptor 核心原理分析及其在i主题业务中的应用

摘要：小结：生产者生产数据时，需要入队。消费者消费数据时，需要出队。入队时，不能覆盖没有消费的元素。出队时，不能读取没有写入的元素。因此，Disruptor 中需要维护一个入队索引（生产者数据生产到哪里，对应 AbstractSequencer 中的 cursor ）和一个出队索引（所有消费者中消费进度阅读全文

posted @ 2024-08-22 15:13 papering 阅读(82) 评论(0) 推荐(0)

2024年8月19日

使用 BZ2Compressor 进行增量压缩

摘要：使用 BZ2Compressor 进行增量压缩 bz2 对 bzip2 压缩算法的支持 — Python 3.11.8 文档 https://docs.python.org/zh-cn/3.11//library/bz2.html 翻译搜索复制阅读全文

posted @ 2024-08-19 16:36 papering 阅读(22) 评论(0) 推荐(0)

2024年8月15日

转转流量录制与回放的原理及实践

摘要：转转流量录制与回放的原理及实践 https://mp.weixin.qq.com/s/yll3QKBOWN_cZGENeQP1lw 翻译搜索复制阅读全文

posted @ 2024-08-15 22:15 papering 阅读(46) 评论(0) 推荐(0)

2024年8月13日

计算器

摘要： 224. 基本计算器 - 力扣（LeetCode） https://leetcode.cn/problems/basic-calculator/description/ 224. Basic Calculator 困难相关标签相关企业 Given a string s representing 阅读全文

posted @ 2024-08-13 17:43 papering 阅读(17) 评论(0) 推荐(0)

用户识别规则

摘要：小结： 1、用户属性是用户具有节点意义的属性，不建议在短时间内进行频繁修改，对于需要频繁变更的属性，建议放在事件中作为事件属性用户识别规则 | ThinkingData https://docs.thinkingdata.cn/ta-manual/latest/installation/pre_i 阅读全文

posted @ 2024-08-13 17:04 papering 阅读(34) 评论(0) 推荐(0)

API 设计实践

摘要：深度 | API 设计最佳实践的思考 https://mp.weixin.qq.com/s/qWrSyzJ54YEw8sLCxAEKlA 深度 | API 设计最佳实践的思考谷朴阿里云开发者 2019年05月09日 08:10 阿里妹导读：API 是模块或者子系统之间交互的接口定义。好的系统架构阅读全文

posted @ 2024-08-13 16:35 papering 阅读(41) 评论(0) 推荐(0)

2024年8月12日

strip 删除的是字符而不是字符串

摘要： s = 'abcaabc's = s.rstrip('abc') #!/usr/bin/python# -*- coding: UTF-8 -*- random_string = 'this is good ' # 字符串末尾的空格会被删除print(random_string.rstrip()) 阅读全文

posted @ 2024-08-12 14:22 papering 阅读(106) 评论(0) 推荐(0)

2024年8月9日

StarRocks 技术内幕 | 基于全局字典的极速字符串查询

摘要： StarRocks 技术内幕 | 基于全局字典的极速字符串查询 https://mp.weixin.qq.com/s/eJKGD7y8jWacKjsvdi-AJg 翻译搜索复制阅读全文

posted @ 2024-08-09 17:00 papering 阅读(46) 评论(0) 推荐(0)

2024年8月7日

Join 优化原理

摘要：分析查询 | StarRocks https://docs.starrocks.io/zh/docs/administration/Query_planning/#join-hint Join 优化原理 - Apache Doris https://doris.apache.org/zh-CN/do 阅读全文

posted @ 2024-08-07 15:03 papering 阅读(30) 评论(0) 推荐(0)

2024年8月6日

StarRocks-Profile分析及优化指南

摘要： StarRocks-Profile分析及优化指南 - 🙌🏻 技术分享 / 经验教程 - StarRocks中文社区论坛 https://forum.mirrorship.cn/t/topic/2367 翻译搜索复制阅读全文

posted @ 2024-08-06 20:52 papering 阅读(161) 评论(0) 推荐(0)

2024年8月2日

在遍历过程中删除 RuntimeError: dictionary changed size during iteration 词典原理

摘要： dict not ok d = {'a': 34, 'b': 435}rm_k = []for k in d.keys(): if k == 'a': d.pop(k) list ok l = ['wer', 'a', 'ccc']for i in l: if i == 'a': l.remove( 阅读全文

posted @ 2024-08-02 16:31 papering 阅读(43) 评论(0) 推荐(0)

2024年7月31日

简单 CASE 表达式搜索 CASE 表达式

摘要： case | StarRocks https://docs.starrocks.io/zh/docs/sql-reference/sql-functions/condition-functions/case_when/ 阅读全文

posted @ 2024-07-31 17:11 papering 阅读(8) 评论(0) 推荐(0)

bash 冒号

摘要：如何在bash中执行 python3 manage.py runserver 0.0.0.0:8001 翻译搜索复制阅读全文

posted @ 2024-07-31 10:47 papering 阅读(17) 评论(0) 推荐(0)

2024年7月30日

pandas 重命名列名指定列修改删除指定列增减列列转行

摘要： pandas explode() 爆炸（列拆分为多个行） | pandas 教程 - 盖若 https://gairuo.com/p/pandas-explode pandas.DataFrame.explode — pandas 2.2.3 documentation https://pandas 阅读全文

posted @ 2024-07-30 16:00 papering 阅读(277) 评论(0) 推荐(0)