第七子007

摘要： 1、机器人干活，肯定要从模仿人类开始。现实情况是人上一百，形形色色，林子大了什么样的鸟都有。同样一件事，不同的人干活的方法、风格肯定不一样，就比如开车：刚拿到驾照的新手上路肯定战战兢兢，速度压到最低，生怕遇到突发情况来不及刹车出事！但有多年驾龄的老鸟就不一样了：在交规和安全都允许的情况下肯定是速度飙 阅读全文

摘要： 1、目前主流的language model还是transformer架构，对于该架构的评价，大佬们明显分成了两派： 一派认为transformer架构本质仅仅是个概率模型，完全没有人类的意识，也不会像人一样思考，next token的预测就是个文字接龙的游戏 另一派就不同了，认为目前的languag 阅读全文

摘要： 本轮AI行情是chatGPT在2022年底发起的，至今已接近4年，核心还是因为transformer架构在NLP领域的效果比以往任何网络架构都要好！但时至今日，transformer架构带来的技术红利已经见顶，除非出现了新的、更好的网络架构，否则NLP的能力也已见顶了，下一个风口轮到具身智能了！说到 阅读全文

摘要： 1、近期，deepseek-3.2-EXP发布，价格大幅下降，如下： 价格大幅下降，这是谁给的底气了？必定是成本大幅下降呗，否则不得亏死？那么问题又来了：成本又是怎么大幅下降的了？ 2、时至今日，尽管被各种吐槽（其中不乏yan lecun、feifeili等top级学术大佬），但商用的主流LLM架构 阅读全文

摘要： 1、近期，国内LLM头号玩家阿里发布了Qwen3-Next-80B模型，但从名字上看就和其之前发布的模型不同：多了next！这就奇怪了：为啥会多出一个next？这个next究竟是啥意思了？ 2、自从3年前 chatGPT 3.5发布后，AI又开始大火，就是因为效果比传统的机器学习好10倍！效果为啥好 阅读全文

摘要： 目前LLM的训练范式不外乎这么几步：pre-train、SFT、RL，每个步骤都有自己的作用，比如： pre-train：把训练预料的知识压缩到neural的结点 SFT：初步学会问答 RL：和人类的偏好对齐 经过上述三步骤后，LLM的效果会有很大提升，然鹅还是摆脱不了目前的一大困境：本质还是个st 阅读全文

摘要： 这轮AI热潮起于2022.10月chatGPT 3.5的发布，其智能程度颠覆了以往任何同类产品，一下就引爆了关注！后来持续迭代，又率先提出了COT的模式：在正式回答问题前先think一段，根据整个思考的过程再给出最终的答案，这就是o1；尽管LLM的效果是越来越好，但还是有人跳出来“唱反调”，吐槽LL 阅读全文

摘要： 前两次用SHAP框架可视化解释了bitcoin price预测和credit fraud detection这种anomaly detection，今天继续以推荐系统为样本对SHAP的使用做可视化分析！ 1、数据集还是来自天池：https://tianchi.aliyun.com/dataset/5 阅读全文

摘要： 之前做了bitcoin price预测的可视化解释，这次继续做个anomaly detection相关的业务，就用比较常见的信用卡欺诈检测啦，还是用天池上现成的数据集，如下：https://tianchi.aliyun.com/dataset/92665 这次用application_data来做测 阅读全文

摘要： RL的领域越来越炸裂了，近期又有团队开源了 Zero Data 做reinforcement learning的方法：在post train阶段，做RL时 Absolute Zero data，听名字是不是很炸裂啊！先来回顾一下LLM领域做RL的历史阶段： 最早是PPO/DPO等方式，需要人工标注数 阅读全文