2018年7月22日

摘要： 四种方法： 第一种：正则表达式，写法比较灵活（过于灵活导致写法很多）； 第二种：xpath(推荐使用）； 第三种：bs4(BeatifulSoup)，使用选择器获取节点对象（不好记）； 第四种：jsonpath,类似xpath。 获取节点写法： 1、xpath写法： 比如获取src地址，.../im 阅读全文

摘要： 一、技术和方法： 1、在请求头headers里设置User-Agent(浏览器内核）； 2、当碰到post请求方式时，一般需要在请求头里设置Cookie的数据； 3、当本机ip由于短时间频繁访问受限时，可以设置代理ip（免费ip推荐西次代理）； 4、如果需要登录的，可以通过fiddler抓包工具抓取 阅读全文