摘要: 伯乐资讯URL # encoding: utf-8 import requests from bs4 import BeautifulSoup import csv import time base_url = 'http://top.jobbole.com/page/' session = req 阅读全文
posted @ 2018-06-18 18:18 大长胡子 阅读(176) 评论(0) 推荐(0)
摘要: 一段代码,可以跑出所有文章的url # encoding: utf-8 import requests from bs4 import BeautifulSoup base_url = 'http://blog.jobbol session = requests.session() i=0 for 阅读全文
posted @ 2018-06-18 16:04 大长胡子 阅读(132) 评论(0) 推荐(0)
摘要: 代码:https://github.com/longbigbeard/scrapy_demo 阅读全文
posted @ 2018-06-07 21:48 大长胡子 阅读(201) 评论(0) 推荐(0)
摘要: pip install -i https://pypi.douban.com/simple/ scrapy 出现错误: error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 将依赖包装全。 出现错误: 再试试,好像不行。 su 阅读全文
posted @ 2018-06-05 17:52 大长胡子 阅读(157) 评论(0) 推荐(0)
摘要: 首先要去下载好JDK,Java SE 8的官方网址是http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html。根据电脑版本选择下载,我选择的是dk-8u171-linux-x64.tar.g 阅读全文
posted @ 2018-06-04 19:00 大长胡子 阅读(381) 评论(0) 推荐(0)