摘要：
requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的： python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。 我也看了下r 阅读全文
摘要：
你是否觉得 XPath 的用法多少有点晦涩难记呢？ 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？ 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？ 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？ 嗯，那么，前端大大们的福音来了，PyQue 阅读全文
摘要：
官方文档上说的比较简单： pip install pyspider 但是实际安装时还是有些问题导致无法成功。 windows下安装 先安装PhantomJS 可以依照自己的开发平台选择不同的包进行下载 http://phantomjs.org/download.html windows下直接下载安装 阅读全文
摘要：
自己的网站服务器30G的数据盘太小了，现在df -ih查询发现档案系统 inode 使用量达到95% 所以就花钱扩展数据盘到100G 服务器是CentOS系统 以下是阿里云论坛找的教程： 1、首先要终止系统正在运行的程序，这点很重要，否则后继的操作无法成功 终止以下程序：nginx、apache、m 阅读全文
摘要：
笔记之Python网络数据采集 非原创即采集 一念清净, 烈焰成池, 一念觉醒, 方登彼岸 网络数据采集, 无非就是写一个自动化程序向网络服务器请求数据, 再对数据进行解析, 提取需要的信息 通常, 有api可用, api会比写网络爬虫程序来获取数据更加方便. Part1 创建爬虫 Chapter1 阅读全文
摘要：
从网上抓了一些字节流，想打印出来结果发生了一下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 8530: illegal multibyte sequence 代码 错误信息让人很困惑，为什么 阅读全文
摘要：
我要隐藏目录下的index.html，修改Nginux配置如下： 1.修改文档顺序 index index.html index.php 2.开启目录流量 在server或location 段里添加上autoindex on;来启用目录流量 a.直接二级目录开启目录流量 location /down 阅读全文
摘要：
引发 SQL 注入攻击的主要原因，是因为以下两点原因： 1. php 配置文件 php.ini 中的 magic_quotes_gpc选项没有打开，被置为 off 2. 开发者没有对数据类型进行检查和转义 不过事实上，第二点最为重要。我认为, 对用户输入的数据类型进行检查，向 MYSQL 提交正确的 阅读全文
摘要：
Fiddler不但能截获各种浏览器发出的HTTP请求, 也可以截获各种智能手机发出的HTTP/HTTPS请求。 Fiddler能捕获IOS设备发出的请求，比如IPhone, IPad, MacBook. 等等苹果的设备。 同理，也可以截获Andriod，Windows Phone的等设备发出的HTT 阅读全文