随笔分类 -  数据采集

获取关于图片类文字
摘要：# from aip import AipOcr # import requests # import re # import os # from decimal import Decimal#浮点数精度计算 # from lxml import html#此处直接引入etree报错是因为版本问题， 阅读全文
posted @ 2021-01-27 15:40 秋叶落日 阅读(150) 评论(0) 推荐(0)
代理IP
摘要：APL代理 import requests import re import os from lxml import html#此处直接引入etree报错是因为版本问题，换个方式引入 etree = html.etree#引入etree方法 from string import punctuatio 阅读全文
posted @ 2021-01-26 17:27 秋叶落日 阅读(251) 评论(0) 推荐(0)
headers
摘要：1.页面F12打开 2.点击 3.刷新页面 4.在Headers中找到user-agent 5.在pycharm中粘贴user-agent并改成字典形式。 # headers={'user-agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebK 阅读全文
posted @ 2021-01-22 17:06 秋叶落日 阅读(463) 评论(0) 推荐(0)
图片获取
摘要：import requests import re import os from lxml import html#此处直接引入etree报错是因为版本问题，换个方式引入 etree = html.etree#引入etree方法 from string import punctuation # he 阅读全文
posted @ 2021-01-22 16:51 秋叶落日 阅读(121) 评论(0) 推荐(0)
小说获取
摘要：import requests import re import pymysql # 保存到数据库 # mysql=pymysql.connect(host='127.0.0.1',user='root',password='wbf980728',database='aaa',charset='ut 阅读全文
posted @ 2021-01-21 16:48 秋叶落日 阅读(121) 评论(0) 推荐(0)