bpecs336

参考

https://zhuanlan.zhihu.com/p/1927397109025473129

https://zhuanlan.zhihu.com/p/1931878660807300257#:~:text=所有的代码写到cs336_basics%2F* 下面，然后在adapters.py里调用自己的.py，需要通过所有的test。 最后的作业分为两部分，一个是code，一个是写的报告。 课程里建议用einsum来表示%40 ,matrix%20multiplication%EF%BC%8C%E5%8F%AF%E4%BB%A5%E6%9B%B4%E6%B8%85%E6%99%B0%E7%9A%84%E7%9C%8B%E5%88%B0%E6%AF%8F%E4%B8%AA%E7%BB%B4%E5%BA%A6%E6%98%AF%E5%A6%82%E4%BD%95%E5%8F%98%E6%8D%A2%E7%9A%84%E3%80%82%20import%EF%BC%8C%20%E8%BF%99%E9%87%8C%E7%94%A8%2A%EF%BC%8C%E5%9B%A0%E4%B8%BA%E5%90%8E%E9%9D%A2%E6%88%91%E4%BB%AC%E8%BF%98%E4%BC%9A%E5%9C%A8layer.py%E9%87%8C%E5%86%99%E5%88%AB%E7%9A%84%E3%80%82

uv环境
https://zhuanlan.zhihu.com/p/1927712586645899242
bpe实现

https://zhuanlan.zhihu.com/p/1935209292715241716
https://zhuanlan.zhihu.com/p/1926723111111340178

实现说明
https://blog.csdn.net/Bug_makerACE/article/details/149248369

分析代码cpu,memory
uv run scalene --cpu --memory cs336_basics/my_train_bpe.py