摘要：
自然语言处理当中经常需要字符串的查找操作，比如通过查找返回字串在文本当中的位置，比如通过匹配实现的ner import pandas as pd import asyncio # data = pd.read_csv("guba_fc_result_20230413.csv") data = pd. 阅读全文
posted @ 2023-05-11 18:34
高颜值的殺生丸
阅读(46)
评论(0)
推荐(0)
摘要：
自然语言处理经常使用re正则模块进行字符串替换，但是文本数量特别大的时候，需要跑很久，这就需要使用asyncio异步加速处理 import pandas as pd import re import asyncio data = pd.read_csv("guba_all_post_20230413 阅读全文
posted @ 2023-05-11 18:31
高颜值的殺生丸
阅读(48)
评论(0)
推荐(0)
摘要：
自然语言任务经常使用jieba分词，数据量大时怎么加速，jieba分词不支持使用asyncio异步加速，使用multiprocessing还是可以的 import jieba import jieba.analyse import multiprocessing # 加载自定义词典 jieba.lo 阅读全文
posted @ 2023-05-11 18:25
高颜值的殺生丸
阅读(195)
评论(0)
推荐(0)
浙公网安备 33010602011771号