会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
morein2008
博客园
首页
新随笔
联系
订阅
管理
2025年8月4日
python分割长文本
摘要: 思路:设置切块允许的最大文本长度,先按照允许的最大文本长度切出一个chunk,然后检查chunk内部是否存在逗号、句号、感叹号、问号、空格等自然的语义分割符,若存在,在把该chunk继续切分,否则,该切块就是最终的切块。 def cut_text(full_text, max_chunk_size=
阅读全文
posted @ 2025-08-04 15:31 morein2008
阅读(22)
评论(0)
推荐(0)
公告