随笔分类 -  crawler

通过baidu搜索引擎采集需要的数据
摘要：1 原理 通过向 baidu.com 发送 GET 请求 和需要查询的 params 自动获取数据并提取需要的信息 2 代码 2.2 采集思路： 通过向baidu.com/s?wd=params 发送GET请求，获取了首次查询的内容和页码数并存储。 根据页码数进行遍历请求并储存内容。 3 注意 3. 阅读全文
posted @ 2018-04-13 23:57 fuzzier 阅读(227) 评论(0) 推荐(0)
爬取异步请求网站思路
摘要：本人先整理一遍思路 1 源码内找不到搜索的内容： 1.1 ajax请求，也就是本文的内容 1.2 数据经过加密需要js进行解密 2 如果是ajax请求，我们可以通过抓包，对其进行请求进行分析， 2.1 找到我们需要的通过异步请求的url， 2.2 对其response进行分析，找到我们的数据。 3 阅读全文
posted @ 2017-09-19 14:27 fuzzier 阅读(443) 评论(0) 推荐(0)
模拟登陆国内著名知识交流网站
摘要：之前看了很长时间的前端相关知识，怕python手生，写个模拟登陆恢复一下 zhihu网上的info有些是需要登陆后才能访问爬去的，所以不妨试一试 1 首先自己登陆，然后用fiddler进行抓包 发现登陆zhihu需要post以下data： A？， 验证码哪去了，算了，没有更好。 下面就要编写代码了， 阅读全文
posted @ 2017-02-25 23:27 fuzzier 阅读(270) 评论(0) 推荐(0)
http协议简介--转载
摘要：1 一次完整的http请求 地址：https://blog.csdn.net/yezitoo/article/details/78193794 2 http协议 地址：http://funhacks.net/explore-python/HTTP/HTTP.html 3 互联网协议：http://w 阅读全文
posted @ 2017-02-23 10:55 fuzzier 阅读(141) 评论(0) 推荐(0)
利用cookie进行模拟登录并且抓取失败
摘要：首先是朋友发现每次对撞md5都要上网站登录然后进行对撞，感觉好麻烦，想写一个脚本，输入md5值直接输出 然后就上车了 1 模拟登录 老规矩，先要提交表单，进行抓包(我用的fiddler)进行抓包，看见了post的表单，但心血来潮，发现每次模拟登录都利用提交表单的形式好无聊，再加上前些日子写web，就 阅读全文
posted @ 2017-01-20 14:50 fuzzier 阅读(871) 评论(0) 推荐(0)
python_requests模块
摘要：主要学习了imooc的@飞雀老师的课，所以做一个笔记 1 三种常见的request 2 基本相应的api 3 自定义request原理图 4 http认证的一个创建类的方式 5 代理 6 cookie 7 session 阅读全文
posted @ 2016-11-01 18:18 fuzzier 阅读(195) 评论(0) 推荐(0)
通过ip查询对方位置
摘要：我们这里使用的是baidumap的高精度IP定位API的接口，具体说明可以参考baidu提供的文档 使用前需要申请一个AK密钥类似于Kgcx......................xxl8w的样式 http://api.map.baidu.com/highacciploc/v1?qcip=220 阅读全文
posted @ 2016-10-27 13:30 fuzzier 阅读(3104) 评论(2) 推荐(0)
我绕过验证的模拟登陆的崎岖倒流
摘要：由于好奇一直想试试模拟登陆，然后就把目标定在某所大学的登录网站上 大至样式就是这样的 通过界面我们大致可以了解到请求可能会后username，password，验证码，记住用户 接着使用burp进行抓包得： 可以通过post请求知道dlm就是uesrname，hexMd5是加密后的password（ 阅读全文
posted @ 2016-10-26 15:24 fuzzier 阅读(5090) 评论(3) 推荐(1)
分布式爬虫
摘要：闲来无事尝试一下多线程爬虫， 对于单一html页面的多线程解析 缺点是无法对抓取的图片进行分类 本次脚本的特点：图面与内容一一对应 阅读全文
posted @ 2016-10-19 17:04 fuzzier 阅读(203) 评论(0) 推荐(0)
爬取某电影网站最新电影
摘要：1 # -*- coding: utf-8 -*- 2 """ 3 Created on Wed Oct 12 16:48:33 2016 4 5 @author: fuzzier 6 """ 7 8 import requests 9 from bs4 import BeautifulSoup 1 阅读全文
posted @ 2016-10-12 18:13 fuzzier 阅读(1376) 评论(0) 推荐(0)
随笔写一个简单的爬虫
摘要：目标：爬取damai网上即将上演的信息 阅读全文
posted @ 2016-10-03 18:25 fuzzier 阅读(222) 评论(0) 推荐(0)