摘要：
ASL（美国手语）和 N-gram（N 元语法）乍一看没啥直接关系，但硬要说联系的话，可以从 “语言结构分析” 的角度白话解释： 1. ASL 是 “用手比划的语言”，N-gram 是 “算词语顺序的工具” ASL：就像我们用嘴说话，聋人用手、表情和身体动作 “说话”，每个手势是一个 “单词”，比如 阅读全文
posted @ 2025-06-22 14:03
m516606428
阅读(23)
评论(0)
推荐(0)
摘要：
表schema： a表字段：用户浏览行为表：user_id log_time log_price goods_id date b表字段：商品价格维表：goods_id current_price price_date 1）找到每个用户每天最后一次浏览行为发生的时候的价格； 2）找到降幅大于2%的每个 阅读全文
posted @ 2025-06-22 13:57
m516606428
阅读(8)
评论(0)
推荐(0)
摘要：
在自然语言处理（NLP）领域，PPL（困惑度，Perplexity ）和 n - gram 是紧密关联的概念，主要关系如下： 1. n - gram 是基础模型，PPL 是评估指标 n - gram 模型角色：n - gram（像 unigram、bigram、trigram 等 ）是经典统计语言模 阅读全文
posted @ 2025-06-22 11:38
m516606428
阅读(46)
评论(0)
推荐(0)
摘要：
这是关于语言模型应用中 “数字归一化” 流程的内容，实体信息如下： 主题：语言模型的应用 - 数字归一化 步骤： 找规范数字文本当原始语料 正则表达式提取任意形式数字 数字替换为 <阿拉伯数字>< 汉字数字 >< 汉字连读 > 等 token 用带 token 文本训练语言模型 新文本用正则找数字， 阅读全文
posted @ 2025-06-22 11:20
m516606428
阅读(15)
评论(0)
推荐(0)
摘要：
断是否转阿拉伯数字，核心看 数字表意场景与可读性需求 ，可分两类情况： 一、建议转阿拉伯数字的场景 量化数据（精准数值）像图里的 “四百五十四点九万吨”（454.9 万吨 ）、“七百七十三点四万吨”（773.4 万吨 ）、年份 “一九九九年”（1999 年 ），这类明确的计量、统计数值，转成阿拉伯数 阅读全文
posted @ 2025-06-22 11:18
m516606428
阅读(13)
评论(0)
推荐(0)
摘要：
这是关于语言模型文本纠错方法缺陷的说明，用大白话总结缺陷： 漏判 “增减字”：比如原句多了字（“我 爱吃饭” 多空格算错但难识别）、少了字（“我爱饭” 少 “吃”），这种方法搞不定。 阈值难调：打分阈值高了，该改的错没改；阈值低了，乱改原意（比如 “我买苹果”→“我卖苹果”，模型可能误判替换）。 “ 阅读全文
posted @ 2025-06-22 11:09
m516606428
阅读(21)
评论(0)
推荐(0)
摘要：
这是关于语言模型应用于文本纠错的流程说明，用大白话拆解步骤： 找 “错别字备胎”：先给每个字准备一堆可能混淆的字（比如 “天” 的混淆字有 “按、暗、俺” 等，因为长得像 / 读音像）。 算原句 “合理度”：用语言模型打分，看原句 “像不像人话”（概率越高越合理）。 替换字再打分：把原句里的字换成混 阅读全文
posted @ 2025-06-22 11:08
m516606428
阅读(42)
评论(0)
推荐(0)
摘要：
在 NLP（自然语言处理）里，PPL 是 困惑度（Perplexity），大白话就是衡量语言模型 “有多懵圈” 的指标，用来判断模型对文本预测能力咋样，数值越小，模型越聪明，越懂语言规律 。 举个栗子理解 假如你给模型一句特常见的话 “我吃饭”，模型能稳稳猜到 “吃” 后面接 “饭”，那 PPL 就 阅读全文
posted @ 2025-06-22 11:06
m516606428
阅读(161)
评论(0)
推荐(0)
摘要：
这张图对比了 Ngram 语言模型 和 神经网络（NN）语言模型 的区别，用大白话解释就是： 对比项Ngram 模型（传统套路）NN 模型（神经网络新玩法） 解码速度 快（简单查表、计算，像背公式答题） 慢（要算复杂神经网络，像解奥数题） 内存消耗 大（存很多 “词组统计结果”，占地方） 小（靠神经 阅读全文
posted @ 2025-06-22 10:56
m516606428
阅读(17)
评论(0)
推荐(0)
摘要：
这页讲神经网络语言模型（NLM）比 Ngram 强在哪，大白话对比 “NLM 咋碾压 Ngram”： 1. 语义理解更聪明（向量表示语义） Ngram ：靠 “统计词的出现频率” 判断语义（比如 “苹果” 常和 “手机” 连，就认为它们有关 ），但不懂真正的意思。 NLM ：把词变成 “语义向量”（ 阅读全文
posted @ 2025-06-22 10:52
m516606428
阅读(25)
评论(0)
推荐(0)
浙公网安备 33010602011771号