toon 面向token的数据格式
toon 是一个面向token 的数据格式,对于llm 会友好一些,可以极大的简单token 的数量(json 数据会有重复的字段)
适合的场景
比较适合接结构重复的数据,tables,包含不少字段
说明
toon 同时提供了不同语言的sdk 可以方便创建对于的数据转换,对于大模型项目希望减少数据token的场景还是很值得试用下的
toon 是一个面向token 的数据格式,对于llm 会友好一些,可以极大的简单token 的数量(json 数据会有重复的字段)
比较适合接结构重复的数据,tables,包含不少字段
toon 同时提供了不同语言的sdk 可以方便创建对于的数据转换,对于大模型项目希望减少数据token的场景还是很值得试用下的