摘要: IP代理池之验证是否有效 把proxy pool项目跑起来,但也不知道这些ip怎么用,爬虫的时候是否用代理去爬取,下面通过一个例子来看看。 代码如下: 先写个函数来请求IP代理池,获取到代理IP就赋予到proxies参数上,这时再写个for循环来证明是不是每次请求是不同ip,http://httpb阅读全文
posted @ 2019-05-23 21:06 陈Sir· 阅读(2) 评论(0) 编辑
摘要: 反爬虫之搭建IP代理池 听说你又被封 ip 了,你要学会伪装好自己,这次说说伪装你的头部。可惜加了header请求头,加了cookie 还是被限制爬取了。这时就得祭出IP代理池!!! 下面就是requests使用ip代理例子 这样就可以使用你定义的代理地址去访问网站了 但IP代理哪里来阿?有两种方式阅读全文
posted @ 2019-05-23 00:20 陈Sir· 阅读(27) 评论(0) 编辑
摘要: selenium+phantomjs爬取京东商品信息 今天自己实战写了个爬取京东商品信息,和上一篇的思路一样,附上链接:https://www.cnblogs.com/cany/p/10897618.html 打开 https://www.jd.com/ 首先不需要登陆就可搜索,淘宝不一样,所以淘宝阅读全文
posted @ 2019-05-21 23:24 陈Sir· 阅读(32) 评论(0) 编辑
摘要: selenium+phantomjs爬取bilibili 首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载 下载完之后解压到你想要放的位置 你需要配置一下环境变量哦 如下图: 首先,我们怎么让浏览器模拟操作,也就是我们自己先阅读全文
posted @ 2019-05-21 01:29 陈Sir· 阅读(49) 评论(0) 编辑
摘要: [转载] Python数据类型知识点全解 1.字符串 字符串常用功能 字符串的内置方法 2.列表 3.元组 4.字典 5.集合阅读全文
posted @ 2019-05-18 22:55 陈Sir· 阅读(19) 评论(0) 编辑
摘要: 学习PyQuery库 好了,又是学习的时光啦,今天学习pyquery 来进行网页解析 常规导入模块(PyQuery库中的pyquery类) from pyquery import PyQuery as pq 通常使用url初始化 doc = pq(url='http://www.baidu.com'阅读全文
posted @ 2019-05-10 23:06 陈Sir· 阅读(43) 评论(0) 编辑
摘要: 使用 jsvc 启动tomcat(使用普通用户运行) jsvc简介 在生产中,tomcat应该以daemon的模式运行,而且如果需要以普通用户的身份启动tomcat,那么就不能使用1024以下的端口,这是Liunx系统的限制,只有root用户才能使用小于1024的端口。那么该如何将tomcat配置成阅读全文
posted @ 2019-05-08 21:41 陈Sir· 阅读(22) 评论(0) 编辑
摘要: Java+Tomcat 环境部署 下面在Centos7进行安装Java+Tomcat,网上的很多文章,我在部署中都有些问题,下面是我自己总结的一个安装过程! 安装Java环境 首先,我们先到Java官网下载JDK 这里我下载jdk1.8版本的 https://www.oracle.com/techn阅读全文
posted @ 2019-05-07 00:02 陈Sir· 阅读(60) 评论(0) 编辑
摘要: sqli labs less 5 6 从源代码中可以看到,运行返回结果正确的时候只返回you are in....,不会返回数据库当中的信息了,以前的union联合查询就不能用了,开始尝试盲注。 简单介绍下 left函数的使用 Left()得到字符串左部指定个数的字符 Left ( string, 阅读全文
posted @ 2019-04-22 02:06 陈Sir· 阅读(16) 评论(0) 编辑
摘要: [转载]盲注的讲解 何为盲注?盲注就是在sql注入过程中,sql语句执行的选择后,选择的数据不能回显到前端页面。此时,我们需要利用一些方法进行判断或者尝试,这个过程称之为盲注。盲注分为三类: •基于布尔SQL盲注 •基于时间的SQL盲注 •基于报错的SQL盲注 基于布尔SQL盲注——构造逻辑判断 在阅读全文
posted @ 2019-04-21 21:53 陈Sir· 阅读(25) 评论(0) 编辑