摘要: 思路:设置切块允许的最大文本长度,先按照允许的最大文本长度切出一个chunk,然后检查chunk内部是否存在逗号、句号、感叹号、问号、空格等自然的语义分割符,若存在,在把该chunk继续切分,否则,该切块就是最终的切块。 def cut_text(full_text, max_chunk_size= 阅读全文
posted @ 2025-08-04 15:31 morein2008 阅读(22) 评论(0) 推荐(0)