陈Sir·

摘要: IP代理池之验证是否有效 把proxy pool项目跑起来，但也不知道这些ip怎么用，爬虫的时候是否用代理去爬取，下面通过一个例子来看看。 代码如下： 先写个函数来请求IP代理池，获取到代理IP就赋予到proxies参数上，这时再写个for循环来证明是不是每次请求是不同ip，http://httpb阅读全文

摘要: 反爬虫之搭建IP代理池 听说你又被封 ip 了，你要学会伪装好自己，这次说说伪装你的头部。可惜加了header请求头，加了cookie 还是被限制爬取了。这时就得祭出IP代理池！！！ 下面就是requests使用ip代理例子 这样就可以使用你定义的代理地址去访问网站了 但IP代理哪里来阿？有两种方式阅读全文

摘要: selenium+phantomjs爬取京东商品信息 今天自己实战写了个爬取京东商品信息，和上一篇的思路一样，附上链接：https://www.cnblogs.com/cany/p/10897618.html 打开 https://www.jd.com/ 首先不需要登陆就可搜索，淘宝不一样，所以淘宝阅读全文

摘要: selenium+phantomjs爬取bilibili 首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载 下载完之后解压到你想要放的位置 你需要配置一下环境变量哦 如下图： 首先，我们怎么让浏览器模拟操作，也就是我们自己先阅读全文

摘要: [转载] Python数据类型知识点全解 1.字符串 字符串常用功能 字符串的内置方法 2.列表 3.元组 4.字典 5.集合阅读全文

摘要: 学习PyQuery库 好了，又是学习的时光啦，今天学习pyquery 来进行网页解析 常规导入模块（PyQuery库中的pyquery类） from pyquery import PyQuery as pq 通常使用url初始化 doc = pq(url='http://www.baidu.com'阅读全文

摘要: 使用 jsvc 启动tomcat（使用普通用户运行） jsvc简介 在生产中，tomcat应该以daemon的模式运行，而且如果需要以普通用户的身份启动tomcat，那么就不能使用1024以下的端口，这是Liunx系统的限制，只有root用户才能使用小于1024的端口。那么该如何将tomcat配置成阅读全文

摘要: Java+Tomcat 环境部署 下面在Centos7进行安装Java+Tomcat，网上的很多文章，我在部署中都有些问题，下面是我自己总结的一个安装过程！ 安装Java环境 首先，我们先到Java官网下载JDK 这里我下载jdk1.8版本的 https://www.oracle.com/techn阅读全文

摘要: sqli labs less 5 6 从源代码中可以看到，运行返回结果正确的时候只返回you are in....，不会返回数据库当中的信息了，以前的union联合查询就不能用了，开始尝试盲注。 简单介绍下 left函数的使用 Left()得到字符串左部指定个数的字符 Left ( string, 阅读全文

摘要: [转载]盲注的讲解 何为盲注？盲注就是在sql注入过程中，sql语句执行的选择后，选择的数据不能回显到前端页面。此时，我们需要利用一些方法进行判断或者尝试，这个过程称之为盲注。盲注分为三类： •基于布尔SQL盲注 •基于时间的SQL盲注 •基于报错的SQL盲注 基于布尔SQL盲注——构造逻辑判断 在阅读全文