摘要:
自然语言处理当中经常需要字符串的查找操作,比如通过查找返回字串在文本当中的位置,比如通过匹配实现的ner import pandas as pd import asyncio # data = pd.read_csv("guba_fc_result_20230413.csv") data = pd. 阅读全文
摘要:
自然语言处理经常使用re正则模块进行字符串替换,但是文本数量特别大的时候,需要跑很久,这就需要使用asyncio异步加速处理 import pandas as pd import re import asyncio data = pd.read_csv("guba_all_post_20230413 阅读全文
摘要:
自然语言任务经常使用jieba分词,数据量大时怎么加速,jieba分词不支持使用asyncio异步加速,使用multiprocessing还是可以的 import jieba import jieba.analyse import multiprocessing # 加载自定义词典 jieba.lo 阅读全文
