wangssd

摘要： 生成式大语言模型（如GPT系列）的预训练过程主要通过无监督学习从海量文本中捕捉语言规律。 1. 数据集制作 数据来源： 多样化文本：网页（Common Crawl）、书籍（如BookCorpus）、维基百科、代码库等。 数据规模：通常达TB级别，涵盖数十种语言（单语或多语模型）。 预处理： 清洗：过 阅读全文

摘要： HTML 文档中，<head> 和 <body> 是两个主要的部分 <head> 元素 作用：包含文档的元数据(metadata)，不会直接显示在页面中 包含内容： 文档标题 (<title>) 字符集声明 (<meta charset="utf-8">) 视口设置 (<meta name="vie 阅读全文

摘要： 前端页面用户的输入传递到后端主要通过 HTTP 请求实现，常见的方式包括： 表单提交（GET/POST） AJAX 请求（异步传输） URL 参数（GET 请求） 1.表单提交（GET/POST） 前端（HTML 表单） <!-- templates/form.html --> <form meth 阅读全文

摘要： 1 介绍下什么是Word2vec 在介绍Word2Vec之前需要先理解Word Embedding，它是将无法直接计算的、非结构化的单词转化为可计算的、结构化的数据-向量； 那么什么是Word2Vec呢？ Word2vec 是 Word Embedding 的方法之一。他是 2013 年由谷歌的 M 阅读全文

摘要： 数仓分层概念： 原始 >明细 >汇总（按汇总程度进行划分 轻度汇总、中度汇总、重度汇总） （如：按天汇总、按累计n天汇总、特征宽表） Sql查询语句 复杂，引入分层，可以方便问题定位，复杂问题简单化。 阅读全文

摘要： 最长递增子序列长度 给你一个整数数组 nums，找到其中最长严格递增子序列的长度。 子序列 是由数组派生而来的序列，删除（或不删除）数组中的元素而不改变其余元素的顺序。例如，[3,6,2,7] 是数组 [0,3,1,6,2,2,7] 的子序列。 解题思路：找出序列中最长子序列的长度 1.动态规划法 阅读全文

摘要： 序列标注，给定一个序列，找出序列中每个元素对应的标签。 中文分词、词性标注、命名实体识别都可以转化为序列标注问题。 词法分析：中文分词、词性标注、命名实体识别 中文分词：将文本分隔为有意义的词语 词性标注：确定每个词语的类别和浅层的歧义消除 命名实体识别：识别出较长的专有名词（人名、地名、机构名、股 阅读全文

摘要： 转载：https://blog.csdn.net/kevinjin2011/article/details/113939817 序列标注（Sequence labeling）是NLP问题中的基本问题。在序列标注中，我们想对一个序列的每一个元素标注一个标签。一般来说，一个序列指的是一个句子，而一个元素 阅读全文

摘要： BERT模型中的特殊标记（Special Tokens）。它们的含义如下： [PAD]：在batch中对齐序列长度时，用 [PAD]进行填充以使所有序列长度相同。可以通过将其添加到较短的序列末尾来实现对齐。[CLS]：在输入序列的开头添加 [CLS] 标记，以表示该序列的分类结果。[SEP]：用于分 阅读全文

摘要： LSTM “权值共享”： 一个LSTM单元在每个时间步 t 的计算都遵循相同的公式，并使用同一套参数 W_f, W_i, W_o, W_c, U_f, U_i, U_o, U_c 和偏置 b_f, b_i, b_o, b_c。 这些参数在时间维度上是“共享”的。无论你处理的是句子的第一个单词还是最后 阅读全文