随笔分类 - python
摘要：Chrome 点击下载chrome的webdriver： http://chromedriver.storage.googleapis.com/index.html 不同的Chrome的版本对应的chromedriver.exe 版本也不一样，下载时不要搞错了。如果是最新的Chrome, 下载最新的
阅读全文
摘要：文件上传是所有UI自动化测试都要面对的一个头疼问题，今天博主在这里给大家分享下自己处理文件上传的经验，希望能够帮助到广大被文件上传坑住的seleniumer。 首先，我们要区分出上传按钮的种类，大体上可以分为两种，一种是input框，另外一种就比较复杂，通过js、flash等实现，标签非input
阅读全文
摘要：报错： 禁用服务器缓存： 解决办法：
阅读全文
摘要：python 基础知识 本文所有内容是学习期间做的笔记，仅为个人查阅和复习方便而记录。所有内容均摘自：http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000 数据类型 整数 浮点数 字符串
阅读全文
摘要：python 3.5.2安装mysql驱动报错 python 3.5.2安装mysql驱动时出现如下异常： 这是由于官方驱动暂时只支持到python3.4所致。改用 安装pymysql 使用例子： 建表语句 CREATE TABLE ( int(11) NOT NULL AUTO_INCREMENT
阅读全文
摘要：django 添加comments app 参看 "django comments 文档" 安装和配置comments 1.安装comments，运行： 命令 2.settings.py中做如下操作： INSTALLED_APPS下添加 INSTALLED_APPS下添加 定义SITE_ID , 3
阅读全文
摘要：python virtualenv环境运行django 安装前准备 检查pip版本与python版本是否一致 如果版本不一致，修改pip引用的版本 安装virtualenv 创建运行环境 启动virtualenv 安装django 安装django 创建django应用 运行django应用 报这样
阅读全文
摘要：centos 7 python2.7.5升级到3.5.2 下载python3.5.2 安装 解压：tar zxvf Python 3.5.2.tgz 进入解压目录： cd Python 3.5.2 创建安装目录： mkdir /usr/local/python3.5.2 编译： ./configur
阅读全文
摘要：转载自：http://www.ibm.com/developerworks/cn/linux/l-cn-pythondebugger/Debug 对于任何开发人员都是一项非常重要的技能，它能够帮助我们准确的定位错误，发现程序中的 bug。python 提供了一系列 debug 的工具和包，可供我们选...
阅读全文
摘要：本文转载自：http://blog.pluskid.org/?p=381 之前介绍 Scrapy的时候提过 Spider Trap ，实际上，就算是正常的网络拓扑，也是很复杂的相互链接，虽然我当时给的那个例子对于我感兴趣的内容是可以有一个线性顺序依次爬下来的，但是这样的情况在真正的网络结构中通...
阅读全文
摘要：前面我们介绍了scrapy爬虫防屏蔽的技巧，前面用的是禁用cookies、动态设置user agent、代理IP和VPN等一系列的措施来达到防屏蔽的效果。然而官方文档还提到了利用Google cache和第三方平台crawlera来做爬虫防屏蔽。本文章着重介绍下利用第三方平台crawlera来避免爬虫被ban的具体方法。
阅读全文
摘要：如果我们有10个定制的spider，甚至更多。此时我们怎么快速地让这些spider运行起来呢？通过shell脚本是一种方式，官方也给出了scrapy同时运行多个脚本的方法。然而这些方法感觉都比较笨拙，同时也是为了学习一下scrapy是怎么自定义命令的。因此本文通过自定义scrapy命令的方式来快速运行多个spider。
阅读全文
摘要：现在很多网站设置了禁止爬虫抓取的策略，那如何让你的scrapy爬虫不在被禁用呢？本文章主要通过一系列的策略做到尽可能避免爬虫被ban。抓取的时候使用随机的user agent、禁用cookies、随机切换代理IP和下载延迟等等的策略来避免网站的反爬虫。
阅读全文
摘要：前面小试了一下scrapy抓取博客园的博客（您可在此查看scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据），但是前面抓取的数据时保存为json格式的文本文件中的。这很显然不满足我们日常的实际应用，接下来看下如何将抓取的内容保存在常见的mysql数据库中吧。 说明：所有的操...
阅读全文
摘要：在安装完scrapy以后，相信大家都会跃跃欲试想定制一个自己的爬虫吧？我也不例外，下面详细记录一下定制一个scrapy工程都需要哪些步骤。如果你还没有安装好scrapy，又或者为scrapy的安装感到头疼和不知所措，可以参考下前面的文章安装python爬虫scrapy踩过的那些坑和编程外的思考。...
阅读全文
摘要：python如何将json格式的数据快速的转化成指定格式的数据呢？或者转换成sql文件？下面的例子是将json格式的数据准换成以#_#分割的文本数据，也可用于生成sql文件。[root@bogon tutorial]# vi json2txt.py #-*- coding: UTF-8 -*-imp...
阅读全文
摘要：这些天应朋友的要求抓取某个论坛帖子的信息，网上搜索了一下开源的爬虫资料，看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用。但是以前一直用的java和php，对python不熟悉，于是花一天时间粗略了解了一遍python的基础知识。然后就开干了，没想到的配置一个运行环境就花了我一天时间。...
阅读全文