博客园 - ZH奶酪
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=101028
2021-10-28T12:48:17Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
feed.cnblogs.com
https://www.cnblogs.com/CheeseZH/p/15477691.html
解耦自注意模型解决传统自注意模型退化问题 - ZH奶酪
https://www.msra.cn/zh-cn/news/features/disentangled-self-attention-models
2021-10-28T12:48:00Z
2021-10-28T12:48:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】https://www.msra.cn/zh-cn/news/features/disentangled-self-attention-models <a href="https://www.cnblogs.com/CheeseZH/p/15477691.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/14528219.html
《2021年了,对话系统凉透了吗?》 - ZH奶酪
此文不涉及技术,主要是一些观点,从以下几个角度讲述了对话系统的现状(1)B/C端市场(2)闲聊、问答、任务型对话(3)学术界和工业界的gap。 原文链接:https://mp.weixin.qq.com/s/d7Bt1gHIP_LXmMJuIKUL-A C端市场,对话产品成本巨大、盈利空间不明朗、市
2021-03-13T03:52:00Z
2021-03-13T03:52:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】此文不涉及技术,主要是一些观点,从以下几个角度讲述了对话系统的现状(1)B/C端市场(2)闲聊、问答、任务型对话(3)学术界和工业界的gap。 原文链接:https://mp.weixin.qq.com/s/d7Bt1gHIP_LXmMJuIKUL-A C端市场,对话产品成本巨大、盈利空间不明朗、市 <a href="https://www.cnblogs.com/CheeseZH/p/14528219.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/14528149.html
《万字长文:浅谈多任务学习》侧重NLP和推荐系统,MLT - ZH奶酪
原文链接:https://mp.weixin.qq.com/s/iYQkwCs1xz2QIjRkg5nerg Retrieve, Rerank, Read, then Iterate: Answering Open-Domain Questions of Arbitrary Complexity f
2021-03-13T03:38:00Z
2021-03-13T03:38:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】原文链接:https://mp.weixin.qq.com/s/iYQkwCs1xz2QIjRkg5nerg Retrieve, Rerank, Read, then Iterate: Answering Open-Domain Questions of Arbitrary Complexity f <a href="https://www.cnblogs.com/CheeseZH/p/14528149.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/14473021.html
《比 Bert 体积更小速度更快的 TinyBERT》腾讯技术工程 - ZH奶酪
文章地址:https://zhuanlan.zhihu.com/p/94359189 笔记: 模型size=1/7; 推理耗时=1/9; 性能会轻微损失;GLUE下降3个点(BERT-PKD,DistilBERT下降7/8个点); 三个loss:embedding loss(输入,mes),tran
2021-03-03T02:33:00Z
2021-03-03T02:33:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】文章地址:https://zhuanlan.zhihu.com/p/94359189 笔记: 模型size=1/7; 推理耗时=1/9; 性能会轻微损失;GLUE下降3个点(BERT-PKD,DistilBERT下降7/8个点); 三个loss:embedding loss(输入,mes),tran <a href="https://www.cnblogs.com/CheeseZH/p/14473021.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/14084509.html
《机器学习工业复现的 12 个要素》 - ZH奶酪
原文链接:https://blog.maiot.io/12-factors-of-ml-in-production/ 译文转自:机器之心 公众号 过去二十年来,我们对软件开发的理解有了大幅提升。其中一大部分原因是 DevOps 概念的出现及其在软件开发行业的广泛应用。 领先的软件公司都遵循着同样的模
2020-12-04T02:42:00Z
2020-12-04T02:42:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】原文链接:https://blog.maiot.io/12-factors-of-ml-in-production/ 译文转自:机器之心 公众号 过去二十年来,我们对软件开发的理解有了大幅提升。其中一大部分原因是 DevOps 概念的出现及其在软件开发行业的广泛应用。 领先的软件公司都遵循着同样的模 <a href="https://www.cnblogs.com/CheeseZH/p/14084509.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13860391.html
学习率调度 - ZH奶酪
原文链接:https://d2l.ai/chapter_optimization/lr-scheduler.html 在神经网络中,通常我们主要关注优化算法如何更新权重,而缺少关注更新的幅度,即学习率。适当的调整学习率和优化算法一样重要。可以从这些角度去考虑: 【学习率大小】最直观的就是学习率的粒度
2020-10-22T10:50:00Z
2020-10-22T10:50:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】原文链接:https://d2l.ai/chapter_optimization/lr-scheduler.html 在神经网络中,通常我们主要关注优化算法如何更新权重,而缺少关注更新的幅度,即学习率。适当的调整学习率和优化算法一样重要。可以从这些角度去考虑: 【学习率大小】最直观的就是学习率的粒度 <a href="https://www.cnblogs.com/CheeseZH/p/13860391.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13735829.html
20200926 DataFunTalk:知识图谱专场(2)小米,知识图谱应用 - ZH奶酪
小米铁人三项:硬件、新零售、互联网 小爱:知识图谱代表作品 知识图谱请求量 8000万/天? 【joint-model】 【NL2SQL】 【实体链接,BERT+CRF、BERT+Softmax】远程监督构造训练集【TODO】 概念图谱 【上位词判定】 【同义词挖掘】
2020-09-26T09:27:00Z
2020-09-26T09:27:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】小米铁人三项:硬件、新零售、互联网 小爱:知识图谱代表作品 知识图谱请求量 8000万/天? 【joint-model】 【NL2SQL】 【实体链接,BERT+CRF、BERT+Softmax】远程监督构造训练集【TODO】 概念图谱 【上位词判定】 【同义词挖掘】 <a href="https://www.cnblogs.com/CheeseZH/p/13735829.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13735488.html
20200926 DataFunTalk:知识图谱专场(2)阿里云小蜜,知识图谱技术与落地 - ZH奶酪
多跳,multi-hop boostraping 更新 结合KB的语料增强 Query->查询图 【intent论文】 【动态自适应模型】
2020-09-26T08:24:00Z
2020-09-26T08:24:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】多跳,multi-hop boostraping 更新 结合KB的语料增强 Query->查询图 【intent论文】 【动态自适应模型】 <a href="https://www.cnblogs.com/CheeseZH/p/13735488.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13735250.html
20200926 DataFunTalk:知识图谱专场(2)明略科技,语音图谱系统与实践 - ZH奶酪
human-in-the-loop,知识图谱链路长 entities、attributes、concepts、relationships Monitor ASR 自动加标点 知识图谱构建 set + pos dep-parser 规则方式(抱团规则) summarization(TF-IDF提取关键
2020-09-26T07:36:00Z
2020-09-26T07:36:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】human-in-the-loop,知识图谱链路长 entities、attributes、concepts、relationships Monitor ASR 自动加标点 知识图谱构建 set + pos dep-parser 规则方式(抱团规则) summarization(TF-IDF提取关键 <a href="https://www.cnblogs.com/CheeseZH/p/13735250.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13734987.html
20200926 DataFunTalk:知识图谱专场(2)百度,事件图谱 - ZH奶酪
50亿实体、5500亿事实 事件有更强的知识表达能力 事件抽取比赛,发布了数据集
2020-09-26T06:43:00Z
2020-09-26T06:43:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】50亿实体、5500亿事实 事件有更强的知识表达能力 事件抽取比赛,发布了数据集 <a href="https://www.cnblogs.com/CheeseZH/p/13734987.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13734774.html
20200926 DataFunTalk:知识图谱专场(1)搜狗,知识图谱应用 - ZH奶酪
搜狗知识图谱背景 价值清晰、被证明 收益明确 实现包括多个环节 多义项消歧 AI营养师【搜索+图谱+对话】!!!!! 同传
2020-09-26T05:35:00Z
2020-09-26T05:35:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】搜狗知识图谱背景 价值清晰、被证明 收益明确 实现包括多个环节 多义项消歧 AI营养师【搜索+图谱+对话】!!!!! 同传 <a href="https://www.cnblogs.com/CheeseZH/p/13734774.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13734569.html
20200926 DataFunTalk:知识图谱专场(1)美团,知识图谱问答实践 - ZH奶酪
16亿实体、48亿关系、1000亿SPO。 赋能搜索(搜索5层架构,策略及小模型层) 基于图谱路径召回 知识构建、知识计算、知识应用 问答场景 按答案来源划分:KBQA/(IR)FAQ/(Doc)MRC 方案对比 技术对比 技术全景图(实体约束理解) NLU 实体链接在NLU中的应用 意图识别(bo
2020-09-26T04:27:00Z
2020-09-26T04:27:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】16亿实体、48亿关系、1000亿SPO。 赋能搜索(搜索5层架构,策略及小模型层) 基于图谱路径召回 知识构建、知识计算、知识应用 问答场景 按答案来源划分:KBQA/(IR)FAQ/(Doc)MRC 方案对比 技术对比 技术全景图(实体约束理解) NLU 实体链接在NLU中的应用 意图识别(bo <a href="https://www.cnblogs.com/CheeseZH/p/13734569.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13734403.html
20200926 DataFunTalk:知识图谱专场(1)京东,知识图谱在电商实践 - ZH奶酪
层级化概念网络 如何确定商品所属概念 BLC:Basic Level Concept; c=concept e=entity 如何表征商品关系、复合领域约束 场景体系、时效热点、产品次、概念、品牌、店铺、搭配、商品、实体。。。 用户知识图谱(基本属性、人群属性) 如何基于KG对用户兴趣建模? 基于K
2020-09-26T03:33:00Z
2020-09-26T03:33:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】层级化概念网络 如何确定商品所属概念 BLC:Basic Level Concept; c=concept e=entity 如何表征商品关系、复合领域约束 场景体系、时效热点、产品次、概念、品牌、店铺、搭配、商品、实体。。。 用户知识图谱(基本属性、人群属性) 如何基于KG对用户兴趣建模? 基于K <a href="https://www.cnblogs.com/CheeseZH/p/13734403.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13734135.html
20200926 DataFunTalk:知识图谱专场(1)达观数据,知识图谱平台、构建、应用 - ZH奶酪
达观数据 知识图谱平台 知识图谱构建与应用 知识图谱Schema 结构化数据->知识图谱 非结构化数据->知识图谱 NER NER方法 基于规则的NER 基于浅层模型的NER 基于BiLSTM-CRF的NER(14~18年) 基于BERT的NER 实体关系抽取 关系抽取方法 基于规则的关系抽取 基于
2020-09-26T02:29:00Z
2020-09-26T02:29:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】达观数据 知识图谱平台 知识图谱构建与应用 知识图谱Schema 结构化数据->知识图谱 非结构化数据->知识图谱 NER NER方法 基于规则的NER 基于浅层模型的NER 基于BiLSTM-CRF的NER(14~18年) 基于BERT的NER 实体关系抽取 关系抽取方法 基于规则的关系抽取 基于 <a href="https://www.cnblogs.com/CheeseZH/p/13734135.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13632108.html
dm in sds - ZH奶酪
![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200908131410195-1528445369.png)![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200908131821132-228848317.png)![](https://img2020...
2020-09-08T05:46:00Z
2020-09-08T05:46:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200908131410195-1528445369.png)![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200908131821132-228848317.png)![](https://img2020... <a href="https://www.cnblogs.com/CheeseZH/p/13632108.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13617434.html
【2020春】李宏毅机器学习(Tips for DL) - ZH奶酪
sigmoid会衰减输入的影响(大input,小output),层数过多的话,导致输入对cost的影响几乎为0 ReLU是Maxout的特例,Maxout比ReLU更灵活 如何训练Maxout 等价这个网络(不同的样本更新不同的参数) 优化器AdaGrad RMSProp local minima(
2020-09-05T05:14:00Z
2020-09-05T05:14:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】sigmoid会衰减输入的影响(大input,小output),层数过多的话,导致输入对cost的影响几乎为0 ReLU是Maxout的特例,Maxout比ReLU更灵活 如何训练Maxout 等价这个网络(不同的样本更新不同的参数) 优化器AdaGrad RMSProp local minima( <a href="https://www.cnblogs.com/CheeseZH/p/13617434.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13617868.html
SMP2020 社交机器人研讨会,毛晓曦,社交机器人在游戏场景中的应用 - ZH奶酪
Contextual Query Understanding,根据上文补全当前Query 为了热更,只需新增一个intent cls。 对话策略配置
2020-09-05T04:58:00Z
2020-09-05T04:58:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】Contextual Query Understanding,根据上文补全当前Query 为了热更,只需新增一个intent cls。 对话策略配置 <a href="https://www.cnblogs.com/CheeseZH/p/13617868.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13617797.html
SMP2020 社交机器人研讨会,李阳阳,社交机器人账号识别问题与挑战 - ZH奶酪
![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905115624930-1311074372.png) ![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905120404850-817148045.png) ![](https://img20
2020-09-05T04:29:00Z
2020-09-05T04:29:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905115624930-1311074372.png) ![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905120404850-817148045.png) ![](https://img20 <a href="https://www.cnblogs.com/CheeseZH/p/13617797.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13617698.html
SMP2020 社交机器人研讨会,俞凯,基于结构化深度学习的统计对话管理 - ZH奶酪
图神经网络,强化学习,对话策略 对话状态:food=chinese 置信状态(分布):food= chinese 0.6,italian 0.4 简单的聚合函数是平均,下边是两种改进方案: 【词级别信息引入网络?】
2020-09-05T03:54:00Z
2020-09-05T03:54:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】图神经网络,强化学习,对话策略 对话状态:food=chinese 置信状态(分布):food= chinese 0.6,italian 0.4 简单的聚合函数是平均,下边是两种改进方案: 【词级别信息引入网络?】 <a href="https://www.cnblogs.com/CheeseZH/p/13617698.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/CheeseZH/p/13617525.html
SMP2020 社交机器人研讨会,高剑锋,GroundedText Generation for Robust Conversational AI - ZH奶酪
![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905105740814-2060963162.png)![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905104625543-586842972.png)![](https://img2020...
2020-09-05T03:08:00Z
2020-09-05T03:08:00Z
ZH奶酪
https://www.cnblogs.com/CheeseZH/
【摘要】![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905105740814-2060963162.png)![](https://img2020.cnblogs.com/blog/323808/202009/323808-20200905104625543-586842972.png)![](https://img2020... <a href="https://www.cnblogs.com/CheeseZH/p/13617525.html" target="_blank">阅读全文</a>