摘要:
该爬虫是将本地一批 query(待翻译的文本),通过 bing 翻译的接口进行翻译,采用的是 asyncio 协程进行并发抓取。 问题:该爬虫因代理问题导致抓取任务失败,之前的做法是将失败的 query 写入另一个文件中,手续手动重新抓取,虽然也能解决但是不够智能也过于繁琐。 需求:实现失败自动重抓 阅读全文
posted @ 2021-05-17 22:23
Hubery_Jun
阅读(179)
评论(0)
推荐(0)
摘要:
现有两张数据表:A、B: # A 表,只有 id 有唯一索引(primary key) id、name、description、age... # B 表,只有 id 有唯一索引(primary key) id、task_id、index_name、status、final_status... 问题: 阅读全文
posted @ 2021-05-17 22:21
Hubery_Jun
阅读(1077)
评论(0)
推荐(0)