ForHHeart

2024年5月3日

摘要： 1 Generative Self-supervised Learning 1.1 AR 1.2 AE 2 Discriminative Self-supervised Learning(Contrastive Learning) InfoNCE 阅读全文

posted @ 2024-05-03 18:32 ForHHeart 阅读(20) 评论(0) 推荐(0)

Quantization: fp16, bf16, int8, fp4, nf4

摘要： 1 GPU Memory Usage 1.1 How to Compute How to compute GPU Memory Usage? Model size: Model Weights: 4Bytes * num_param Optimizer: 4Bytes * 2 * num_param 阅读全文

posted @ 2024-05-03 16:05 ForHHeart 阅读(380) 评论(0) 推荐(0)

Text Representation: OneHot, BOW, N-grams, TF-IDF, Word2Vec, Glove, FastText, ELMO, BERT, SBERT

摘要： 1 Statistical Model 1.1 One-Hot 1.2 Bag of words(BOW) https://web.stanford.edu/class/datasci112/lectures/lecture8.pdf 1.3 N-grams 1.4 TF-IDF 2 Word Em 阅读全文

posted @ 2024-05-03 14:34 ForHHeart 阅读(38) 评论(0) 推荐(0)

Momentum Contrast (MoCo) for Unsupervised Visual Representation Learning

摘要： 1 Introduction 1.1 Instance discrimination (样本判别) Instance discrimination 制定了一种划分正样本和负样本的规则有一个数据集，里面有N张图片，随机选择一张图片 \(x_1\)，经过不同的Data Transformation得到阅读全文

posted @ 2024-05-03 04:19 ForHHeart 阅读(108) 评论(0) 推荐(0)

2024年5月1日

Mixtral 8×7B (Mistral MoE)

摘要： Blog 1: Mixtral 8✖️7B=56B？错！一文带你看清Mixtral内部结构及参数计算 | Zhihu Blog 2: Mixtral 8x7B(Mistral MoE) 模型解析 | Zhihu Video 1: mixtral系列S1——MoE实现细节 | Bilibili Vid 阅读全文

posted @ 2024-05-01 03:08 ForHHeart 阅读(132) 评论(0) 推荐(0)

2024年4月28日

Reinforcement Learning Basic Notes

摘要： 1 Terminology State Action Reference Reinforcement Learning Basics - Shusen Wang | Youtube 阅读全文

posted @ 2024-04-28 18:08 ForHHeart 阅读(21) 评论(0) 推荐(0)

RecSys & Ads Basic Notes

摘要： Video 1: Recommendation Systems - Shusen Wang | Youtube Video 2: Search Engine Technology - Shusen Wang | Youtube 1.1 损失函数 Softmax NCE Loss NEG Loss S 阅读全文

posted @ 2024-04-28 18:02 ForHHeart 阅读(86) 评论(0) 推荐(0)

2024年4月16日

Reinforcement Learning from Human Feedback(RLHF): TRPO, PPO, DPO

摘要： 0 Introduction Terminology \(S\)(state), \(A\)(action), \(R\)(reward) \(\tau\)(trajectory) = (\(s_1\),\(a_1\),\(r_1\),\(s_2\),\(a_2\),\(r_2\),..., \(s 阅读全文

posted @ 2024-04-16 13:47 ForHHeart 阅读(99) 评论(0) 推荐(0)

2024年4月15日

Mamba

摘要： Reference: A Visual Guide to Mamba and State Space Models 🥥 Table of Content Part 1: The Issues of Transformer Part 2: State Space Model(SSM) State S 阅读全文

posted @ 2024-04-15 04:49 ForHHeart 阅读(361) 评论(0) 推荐(0)

2024年3月27日

Multimodal Large Language Model(MLLM)

摘要： 1 CLIP https://openai.com/index/clip/ CLIP(Contrastive Language–Image Pre-training)的主要任务为图文匹配计算cosine similarity。对角线的 \(N\) 个为正样本，其他 \(N^2-N\) 为负样本。阅读全文

posted @ 2024-03-27 20:49 ForHHeart 阅读(64) 评论(0) 推荐(0)

公告