摘要:
微信公众号:AutoML机器学习 MARSGGBO♥原创 如有意合作或学术讨论欢迎私戳联系~邮箱:marsggbo@foxmail.com 阅读全文
摘要:
论文: AutoML: Survey of the State-of-the-Art 下面这个网站会不断更新AutoML相关的论文,当然如果你的论文未被收录,你也可以手动上传你的论文让更多人看到: https://marsggbo.github.io/automl_a_survey_of_state 阅读全文
摘要:
之前已经发过一篇文章来介绍我写的 "AutoML综述" ,最近把文章内容做了更新,所以这篇稍微细致地介绍一下。由于篇幅有限,下面介绍的方法中涉及到的细节感兴趣的可以移步到论文中查看。 论文地址:https://arxiv.org/abs/1908.00709 1. Introduction 以往的模 阅读全文
摘要:
特大喜讯!!! 本专栏开通了同步更新的微信公众号【AutoML机器学习】,不常用知乎的小伙伴们欢迎关注,一起学习!!! 阅读全文
摘要:
做件好事,考四级的兄弟们一起共勉~~~ 链接:https://pan.baidu.com/s/1im4BDVZofZbT9f5PZtsxdA 密码:9i5h 若链接失效请关注如下公众号,后台私信【计算机四级】即可获得更新链接。 微信公众号:AutoML机器学习 MARSGGBO♥原创 如有意合作或 阅读全文
摘要:
第一章 神经网络与深度学习(Neural Network & Deeplearning) "DeepLearning.ai学习笔记(一)神经网络和深度学习 Week3浅层神经网络" "DeepLearning.ai学习笔记(一)神经网络和深度学习 Week4深层神经网络" 第二章 改善深层神经网络 阅读全文
摘要:
因为是Jupyter Notebook的形式,所以不方便在博客中展示,具体可在我的github上查看。 github传送门 : "deeplearning.ai_JupyterNotebooks" 笔记传送门 : "DeepLearning.ai课程相关系列笔记" 微信公众号:AutoML机器学习 阅读全文
摘要:
笔记总结,各章节主要内容已总结在标题之中 "Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型)" "Andrew Ng机器学习课程笔记 week2(多元线性回归&正规公式)" "Andrew Ng机器学习课程笔记 week3(逻辑回归&正则化参数)" "Andrew Ng机 阅读全文
摘要:
标题党一下,顺便蹭一下 OpenAI Sora大模型的热点,主要也是回顾一下扩散模型的原理。 1. 简单理解扩散模型 简单理解,扩散模型如下图所示可以分成两部分,一个是 forward,另一个是 reverse 过程: forward:这是加噪声的过程,表示为\(q(X_{0:T})\),即在原图( 阅读全文
摘要:
1. Quick Start 创建如下代码,命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗?" ] # 输入prompts sam 阅读全文
摘要:
我的环境如下: nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2,该版本要求的 cuda 版本是 11.8,所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system 阅读全文
摘要:
原文: https://zhuanlan.zhihu.com/p/144697348 阅读全文
摘要:
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战: 场景局限: 阅读全文
摘要:
这个报错原因很好解决,只需要在引入包的时候调用下面的语句就可以了 import torch.fx 阅读全文
摘要:
闲言碎语 我在刚开始接触 huggingface (后简称 hf) 的 transformers 库时候感觉很冗杂,比如就模型而言,有 PretrainedModel, AutoModel,还有各种 ModelForClassification, ModelForCausalLM, AutoMode 阅读全文
摘要:
以下笔记参考huggingface 官方 tutorial: https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程,接下来会对每个步骤做进一步的介绍。 1. Normalization normalize 阅读全文