随笔分类 -  python学习

摘要：对于Python中静态、类、抽象方法的使用，我是一直很迷糊的。最近看到一篇技术文章对这方面解释的很好，在此翻译一下，加深印象，也为有需要的同学提供一个方便。 Python中方法是如何工作的： 方法即函数，作为一个类的属性存储。你能像如下申明和访问一个函数：>>> class Pizza(objec... 阅读全文

摘要：最近，在阅读Scrapy的源码的时候，看到有关list方法append和extend的使用。初一看，还是有些迷糊的。那就好好找点资料来辨析一下吧。 stackoverflow中的回答是这样的： append：在尾部追加对象（Appends object at end） C:\Users\sniper.geek>python2 Python 2.7.9 (d... 阅读全文

摘要：学习了一段时间的scrapy爬虫框架，也模仿别人的写了几个。最近，在编写爬取拉勾网某职位相关信息的过程中，遇到一些小的问题，和之前一般的爬取静态网页略有不同，这次需要提取的部分信息是js生成的。记录一下，后续备查。 整个project的文件结构如下所示： ├── lagou_python │ ├── __init__.py │ ├── items.py │ ... 阅读全文

摘要：最近开始接触Scrapy这个开源的爬虫，看了一些文档和人家的技术博客，模仿一下，来爬取自己博客。 首先创建项目： scrapy startproject myblog items.py的编写： 我准备爬取博客文章标题，文章链接及文章被阅读的次数 # -*- coding: utf-8 -*- # Define here the models ... 阅读全文

摘要：想着在编写python web相关程序时，需要用的上User-agent这一项内容（有些网站屏蔽非人为的访问，也就是说拒绝机器人访问，所有你要把自己伪装成为一个人的行为）。利用BurpSuite在自己的电脑上把几个常用的User-agent都给抓下来，留下备查。 FireFox37.0.1+Win7_X64： User-Agent: Mozilla/5.0 (Windo... 阅读全文

摘要：经常在http://www.it-ebooks.info/下载电子教程，但是下载的教程每页都会打上www.it-ebooks.info的标签。之前也没太注意，最近每次看到这些标签都有点小烦躁，想着是不是可以批量去除，首先考虑是在Adobe Acrobat XI Pro下去除水印，但是很遗憾参考很多网上的教程都没有处理掉。萌生了写个脚本批量处理的想法，在谷歌搜到一个外国人写的相关分析和教... 阅读全文