摘要：
1.设置ROBOTSTXT_OBEY，由true变为false 2.设置DEFAULT_REQUEST_HEADERS，将其改为request headers 3.根据请求链接，发出第一个请求，设置一个start_request方法，并在方法中定义相关的配置,比如在本例中设置搜索的关键字keyword 4.接下来定义一个链接，也就是start_url，本例中改为search_url,其中把bas... 阅读全文
posted @ 2018-07-17 18:41
bep_code
阅读(2720)
评论(3)
推荐(0)
浙公网安备 33010602011771号