摘要： 因为我用的非官方API，就需要额外步骤配置一下。我的平台ubuntu2204。 项目是什么--在终端shell直接向gpt提问，关于shell的一些命令，省去向网页端or插件端提问，主要是多点两下鼠标有点麻烦 原项目地址：https://github.com/TheR1D/shell_gpt 1.安 阅读全文

摘要： 核心结论 本文针对消费级设备无法实时运行50∼100B大语言模型（LLM）的问题，提出设备-架构协同设计方案Lincoln，通过优化Flash存储性能和数据传输机制，在不损失模型精度的前提下实现该目标。 背景与痛点 现有LLM服务多依赖云端，存在隐私风险、延迟高、服务不稳定等问题，且厂商运维成本高昂 阅读全文

摘要： Annoy简介 Annoy是Erik Bernhardsson写的一个以树为数据结构的近似最近邻搜索库，并用在Spotify的推荐系统中。Annoy的核心是不断用选取的两个质心的法平面对空间进行分割，最终将每一个区分的子空间里面的样本数据限制在K以内。对于待插入的样本$x_i$，从根节点依次使用法向 阅读全文