深圳地铁Princess

摘要： 终于比完赛了，我可以继续学习我想学习的东西了，但是因为去南京请了一天假，再加上周六周日的作业，哇！我的时间余额已经不足了，最悲催的是，我手机的ios系统崩溃了，OMG,事真多， 没事没事。。。 https://jingyan.baidu.com/article/03b2f78c74ddb55ea33 阅读全文

摘要： Tkinter（也叫Tk接口）是Tk图形用户界面工具包标准的Python接口。Tk是一个轻量级的跨平台图形用户界面（GUI）开发工具。 注意在python2中为Tkinter，在python3中为tkinter. python3下安装： sudo apt-get install python3-tk 阅读全文

摘要： File "MT_class.py", line 12, in run apply(self.func, self.args)NameError: name 'apply' is not defined python3已经不再支持apply 直接改成self.func(*self.args)就好了 阅读全文

摘要： 原因是点击第二个时已经是新页面，找不到之前页面的元素。 报错代码段 报错： 只要刷新页面之后重新获取元素就行，不要提前获取一组元素，然后去循环操作每一个元素，这种情况还是获取元素的个数，然后在循环中获取相应位置的元素，在用的时候才去获取 遇到页面有变化的情况，不要去循环元素，去循环个数或者定位方式， 阅读全文

摘要： 最近写的爬虫大多出错在。。。 在B页面抓取A页面的信息， 这样自然报一堆错， 我检查Xpath到怀疑人生， 明明Xpath没有错啊， 为什么报错呢 selenium.common.exceptions.NoSuchElementException 原因就是 所在页面不对啊， A页面怎么可能抓到B页面 阅读全文

摘要： 之一就是Selenium的安装啦。 pip install 即可。 这里的之二是打开火狐： driver = webdriver.Firefox(executable_path='/usr/lib/firefox/firefox') executable_path是firefox的安装路径 可是我忘 阅读全文

摘要： 根据所抓取的网页来修改编码， 如果网页编码是utf-8， 那就html=html.decode('utf-8') 上下文是这样的 html = '' while True: html = loadurl(url) if html == '': print ('load', url,'error') 阅读全文

摘要： 在终端里, 输入 ssh root@xxx.xxx.xxx.xxx 其中, xxx.xxx.xxx.xxx是阿里云控制台的公网IP地址 输入yes, 回车 输入密码, 回车, OK 阅读全文

摘要： $ scrapy crawl myweather -o wea.json 阅读全文

摘要： 当我们一个爬虫项目量非常大时候，我们可能不能一次执行完毕，需要分好几次执行，这时候，我们只需要在启动爬虫的时候键入命令 scrapy crawl xxx -s JOBDIR=job1 这时候我们可以看到任务开始执行了，当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入： scrapy c 阅读全文