会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
自由、创新、研究、探索
.NET CloudNative Development/dotnet云原生应用开发
博客园
首页
新随笔
联系
订阅
管理
2023年4月23日
OpenAI的子词标记化神器--tiktoken 以及 .NET 支持库SharpToken
摘要: 经过 Tokenize 之后,一串文本就变成了一串整数组成的向量。OpenAI 的 Tiktoken 是 更高级的 Tokenizer , 编码效率更高、支持更大的词汇表、计算性能也更高。 OpenAI在其官方GitHub上公开了一个开源Python库:tiktoken,这个库主要是用力做字节编码对
阅读全文
posted @ 2023-04-23 22:44 张善友
阅读(1002)
评论(2)
推荐(2)
编辑
公告