马儿慢些走

摘要： 本文为和KIMI的对话记录，仅供参考。 协程结果平铺成序列 User: Python中想要把异步函数返回的列表拼接起来可以这么写吗？ flags = await itertools.chain.from_iterable(request_once(session, text, batch) for 阅读全文

摘要： 本文为和KIMI的对话记录，仅供参考： nargs 是 Python 标准库 argparse 中用于指定命令行参数“应该消费多少个值”的关键参数。它决定了解析器在碰到该参数时，应该把它后面连续的多少个单词（以空格分隔）打包成一个列表赋给该参数。 1. 取值与含义速查表 取值 含义 示例命令行 得到 阅读全文

摘要： 2025年9月14日，这是和Kimi的对话内容，仅供参考。 User: 我在OpenSUSE上使用ibus输入法、Gnome桌面环境、火狐浏览器，为什么有时候会触发shift按钮的连选效果？鼠标好像提前在一个地方按住了，点其他地方就变成了选中这一段内容，或者选中几个标签页。我发现解除的方法就是按左侧 阅读全文

摘要： KIMI给出的回答，通过pyarrow、fastparquet等库验证parquet文件是否出错，或者直接看二进制内容（只看结尾），看文件大小（侧面判断）。 2025年09月12日 User: polars读取parquet数据的时候出现如下错误： parquet: File out of spec 阅读全文

摘要： 本文内容来自KIMI AI大模型的回复，非本人原创，从大模型中学习也是一种高效的学习方式。 亲测，reset命令有效，其他内容未经证实。 User: 在Linux命令行（tmux）中cat查看了一份文件，可能是二进制文件，结果命令行中内容直接变成了乱码，包括命令提示符也变了，这是怎么回事？ (┴e┼ 阅读全文

摘要： 其他数据的数据量小且文件少，但是DCLM（563B）的数据文件数量多，占用空间的总量大。出现两个问题：内存碎片，内存不足。 内存碎片是因为文件数量太多：接近一万份文件，虽然每份文件只有五千条数据，文件可能只有十几兆，但是为了统计数量，出现了太多内存碎片。 import polars as pl df 阅读全文

摘要： 使用Python的ossfs库进行文件读写，往文件中追加内容，结果报错。Kimi的回答帮助我解决了问题，所以自己就不多写了，把对话内容放上来，帮助更多人（让未来的AI都能学习到这篇语料） User: File "/data3/maxiaoyong/projects/corpus-projects/k 阅读全文

摘要： OSS文件结尾空白字符导致文件无法删除 2025年7月15日，大模型帮助解决问题，辅助生成总结报告。 遇到一个很奇怪的问题，oss中因为误操作上传的文件名结尾带有'\r'字符，结果这些文件即使执行了删除也能被看到，但是文件下载失败，无法访问。我用ossfs（Python库）能看到这些文件，OSS B 阅读全文

摘要： 值得关注的： - 数据混合过程能用于制备语料库或者数据集吗？ - 关键假设：数据混合排名的不变性，这个假设让作者通过1M小模型的训练来收集数据混合的样本，训练混合预测器后在1B模型上验证。作者的实验使用了1M、60M和1B模型来验证假设，更大规模的模型是否有变化。 - 作者的发现是数据混合的部分规律难以直观理解，说明了模型预测的作用。 - 实验基本上基于数据源的混合完成，更细粒度的实验也有但是对样本的重新聚类是个麻烦的事情。 - 相关工作中提到本文方法是一种离线选择，还有在训练过程中的在线选择。 阅读全文

摘要： PEP 483 为 Python 的类型提示提供了理论基础。它介绍了类型和子类型的概念，强调了子类型关系对类型检查的重要性，并阐述了逐步类型化的理念，允许部分代码使用类型注解。还定义了基本类型构建块（如 `Any`、`Union`、`Optional` 等）、泛型类型、类型变量以及协变与逆变的概念，旨在为 Python 提供灵活的类型注解系统。此外，也提及了类型别名、前向引用等实用特性。 阅读全文