资源整理

目录

• 1.主要资源：
• 2.transformer资源
  • 2.2 HF主页课程：
• 3. datawhale资源：
• 4. 赛事相关：
• 5. github资源：
• 6. 工具：
• 7.面试类
• 8.杂类：

1.主要资源：

• 《ApacheCN 深度学习译文集》

• 《PyTorch官网教程》

• 《PyTorch 中文官方教程 1.7》、1.7文档、《PyTorch 1.0 中文文档 & 教程》、《PyTorch 学习笔记汇总（完结撒花）》

• 《pytorch里巧用optimizer.zero_grad增大batchsize》、苏剑林《用时间换取效果：Keras梯度累积优化器》、《【PyTorch基础教程4】反向传播与计算图》

• scikit-learn官网

• 官方API文档集合

---

---

2.transformer资源

• 《使用huggingface transformers全家桶实现一条龙BERT训练和预测》

• 知识蒸馏Distilled BiLSTM论文解读《Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 》，原文链接。

• 《The Annotated Transformer》:原文以及中文翻译、datawhale地址

• 《Attention Is All You Need 原始论文中英文对照翻译》

• 《苏神文章解析》

  • 《浅谈Transformer的初始化、参数化与标准化》
  • 《词向量与Embedding究竟是怎么回事？》
  • 《Transformer如戏，全靠Mask》

• transformer知识点：

  • 《用可视化解构BERT，我们从上亿参数中提取出了6种直观模式》

  • 深度学习之注意力机制

  • 关于BERT和Transformer的易错点

  • 知乎文章《史上最细节的自然语言处理NLP/Transformer/BERT/Attention面试问题与答案》

  • 《超细节的BERT/Transformer知识点》

• 论文阅读：Pre-trained Models for Natural Language Processing: A Survey 综述：自然语言处理的预训练模型、《A Survey of Transformers》英文pdf

• 深度学习论文翻译：Image Classification、Object Detection、OCR

• 图神经网络论文翻译及解读

• 刘知远老师-NLP研究入门之道

• 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

• 苏剑林博客-关于Transformers的合集

• (强推)李宏毅2021春机器学习课程：重点：self- attention ，transformer，Bert

• Transformer【动手学深度学习v2】（李沐bilibili视频）

• 张贤笔记：

  • [PyTorch 学习笔记] 6.1 weight decay 和 dropout
  • Pytorch：model.train()和model.eval()用法和区别

---

2.2 HF主页课程：

• Hugging Face主页课程 1-3译文
• Summary of the tokenizers
• Using tokenizers from 🤗 Tokenizers
• 从头训练分词器，中文翻译见此贴第二节、《BPE、wordpiece、ULM三大分词原理》
• Loading a Dataset，dataset拆分和切片
• 从头开始预训练BERT模型、《pytorch loop微调预训练模型》
• 在modelpoint基础上训练语言模型、中文翻译可以查看：datawhale中文教程
• trainer参数设定参考：《huggingface transformers使用指南之二——方便的trainer》
• huggingface transformers使用指南（更新and待续）
• hugging face 官方文档——datasets、optimizer
• transformers/trainer.py
• 社区文档：社区transformer资源、notebook

---

3. datawhale资源：

• 优秀作业：《天国之影笔记》、于冬笔记、初晓宇笔记、胡先生笔记、pytorch视频
• datawhale开源学习汇总
• Python语言（参考《python3.6.3中文手册》、《Python 3 教程》、《十万行代码》）
• 开源项目：深入浅出PyTorch
• 基于transformers的自然语言处理(NLP)入门
• nlp之情感分析（RNN/CNN/LSTM/BERT）
• 数据挖掘/机器学习
• 数据可视化（matplotlib）
• 计算机视觉（cv）
• 强化学习
• 动手学数据分析、清洗、重构、建模
• 集成学习（上）、集成学习（中）、 集成学习（下）
• 多多笔记 之《2021年如何科学的“微调”预训练模型？》、《深度学习基础》
• 统计学习要素（ELS）中文翻译、代码实现及其习题解答

---

---

4. 赛事相关：

• Coggle 30 Days of ML（22年1&2月）
• Coggle年度原创文章汇总
• 赛事信息及Baseline汇总：文档、Github地址
• Coggle数据科学 / competition-baseline
• 入门NLP比赛：
  • 《CCF BDCI 剧本角色情感识别：多目标学习开源方案》-Great-baseline
  • 2021 CCF 爱奇艺剧本角色情感识别赛道 baseline
  • 《科大讯飞中文相似度 Top10》、中文问题相似度挑战赛0.9+paddle版本baseline
  • 《datawhale-baseline-互联网新闻情感分析》
  • 比赛总结：微信大数据挑战赛（内有决赛 Top1 至 Top7答辩视频 + PPT）
  • Coggle 30 Days of ML」30天入门数据竞赛：入门数据挖掘 - 二手车交易价格预测、人脸关键点检测挑战赛（CV）、入门NLP - 新闻文本分类
    • 《新闻文本分类(一)——TF-IDF》
    • 新闻文本分类参考代码：惊鹊《Rank4 NLP新闻文本分类-开源代码+经验分享》及github
    • 张贤的知乎代码解析：《阿里天池 NLP 入门赛 Bert 方案1》、 《 Bert 方案 -2 Bert 源码讲解》、 《Bert 方案 -3 Bert 预训练与分类》、github代码地址
    • 赛事讨论区张帆等方案（task1-6）
    • 冬于bert预训练和微调代码
    • nlp群直播链接10-8第一期结构化赛题、10-4竞赛分享、10-8结构化赛题、学习资料
• 学术论文分类挑战赛0.79+paddle版本Baseline
• Pytorch Bert+BiLstm文本分类

---

CV类比赛及资源：

• 图像去模糊算法代码实践！，baseline
• 《CNN卷积神经网络》

结构化比赛：

• 《2021科大讯飞-车辆贷款违约预测赛事 Top1方案》
• 《KDD Cup 2021 时序异常检测（附 Top1 至 Top7思路视频 ）》

赛事总结

• 特征选择算法大总结
• Kaggle Top1% 是如何炼成的！
• 一文读懂文本处理中的对抗训练、《NLP中的对抗训练》、《bert 对抗训练实现代码》
• 《【论文解读】文本分类上分利器:Bert微调trick大全》

---

5. github资源：

• 人工智能1,2,3班资料，（d5dq）
• pytorch-sentiment-analysis
• 《自然语言处理》（车万翔）配套案例代码地址
• 《《从零构建知识图谱：技术、方法与案例》代码》
• 中文数据增强包、参考文献：[2019-EDA]EDA Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks
• cloud tpu文档
• 搭建博客

---

6. 工具：

• 《Python环境配置保姆教程（Anaconda、Jupyter、GPU环境）》
• 《torchtext.vocab构建词表》
• 《Jupyter Notebook：Python数据分析利器》
• colab使用方法总结
• Google Colab 使用说明（翻译）
• markdown文档、公式格式调整（可以写作\(\mathbf {formula }\)）
• 防止自动断开连接
  在colab页面，按Ctrl+Shit+i，打开检查页面（也可以右击鼠标，选择“检查”），并切换到控制台或terminal标签，chrome中为Console。

function ConnectButton(){
    console.log("Connect pushed"); 
    document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() 
}
setInterval(ConnectButton,60000);

---

7.面试类

• 【剑指offer】高频ML/DL面试题（持续更新）
• 刷题攻略 知识星球《代码随想录》
• datawhale力扣项目
• Datawhale面经小组，项目地址

---

8.杂类：

• SigOpt（调参？）
• trainner最原始的版本（trainner一开始是不存在的，可以看huggingface的examples里的代码，由于启动训练需要特别多的参数，而各个nlp任务又有很多通用的参数，就被抽象出来了trainner。trainner就是把训练开始之前需要的参数合并了起来）
• 《如何理解NLLLoss?》
• 深度学习500问
• 推荐书籍：Transformers-for-Natural-Language-Processing，张帆发的
• 李沐《动手学深度学习 》中文第二版，github地址
• 神经网络与深度学习
• Attention is all you need的Pytorch实现
• Sentence Transformers：使用 BERT & Co 的多语言句子、段落和图像嵌入，Sentence Transformers文档
• GPU 显存不足怎么办

jupyter nbconvert --to markdown notebook.ipynb
jm="jupyter nbconvert --to markdown"
jm docs/篇章4-使用Transformers解决NLP任务/4.1-文本分类.ipynb
jm docs/篇章4-使用Transformers解决NLP任务/4.2-序列标注.ipynb