上海-悠悠

摘要： 前言 本篇手把手教大家如何爬取网站上的图片，并保存到本地电脑 一、目标网站 1.随便打开一个风景图的网站：http://699pic.com/sousuo-218808-13-1.html 2.用firebug定位，打开firepath里css定位目标图片 3.从下图可以看出，所有的图片都是img标 阅读全文

摘要： 前言 本篇详细介绍beautifulsoup4的功能，从最基础的开始讲起，让小伙伴们都能入门 一、读取HTML页面 1.先写一个简单的html页面，把以下内容copy出来，保存为html格式文件 <meta charset="UTF-8"> <!-- for HTML5 --><meta http- 阅读全文

摘要： 前言 以博客园为例，爬取我的博客上首页的发布时间、标题、摘要，本篇先小试牛刀，先了解下它的强大之处，后面讲beautifulsoup4的详细功能。 一、安装 1.打开cmd用pip在线安装beautifulsoup4 >pip install beautifulsoup4 二、解析器 1.我们主要用 阅读全文

摘要： 前言 前面一篇实现了参数的关联，那种只是记流水账的完成功能，不便于维护，也没什么可读性，接下来这篇可以把每一个动作写成一个函数，这样更方便了。 参数化的思维只需记住一点：不要写死 （由于博客园登录机制变了，登录全部用cookie，不用账号和密码登录了） 一、登录函数 1.s参数是session的一个 阅读全文

摘要： 前言 我们用自动化发帖之后，要想接着对这篇帖子操作，那就需要用参数关联了，发帖之后会有一个帖子的id，获取到这个id，继续操作传这个帖子id就可以了 （博客园的登录机制已经变了，不能用账号和密码登录了，换个网站，或者用cookie登录吧） 一、删除草稿箱 1.我们前面讲过登录后保存草稿箱，那可以继续 阅读全文

摘要： 前言 某屌丝男A鼓起勇气向女神B打电话表白，女神B是个心机婊觉得屌丝男A是好人，不想直接拒绝于是设置呼叫转移给闺蜜C了，最终屌丝男A和女神闺蜜C表白成功了，这种场景其实就是重定向了。 一、重定向 1. (Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置,从地址A跳转到地址B了 阅读全文

摘要： 前言 有些post的请求参数是json格式的，这个前面第二篇post请求里面提到过，需要导入json模块处理。 一般常见的接口返回数据也是json格式的，我们在做判断时候，往往只需要提取其中几个关键的参数就行，这时候就需要json来解析返回的数据了。 一、json模块简介 1.Json简介：Json 阅读全文

摘要： 前言 有些登录的接口会有验证码：短信验证码，图形验证码等，这种登录的话验证码参数可以从后台获取的（或者查数据库最直接）。 获取不到也没关系，可以通过添加cookie的方式绕过验证码。 一、抓登录cookie 1.登录后会生成一个已登录状态的cookie，那么只需要直接把这个值添加到cookies里面 阅读全文

摘要： 前言 上一篇模拟登录博客园，但这只是第一步，一般登录后，还会有其它的操作，如发帖，评论等，这时候如何保持会话呢？ （敲黑板！！！由于博客园最近登录机制变了，登录全部走cookie登录） 一、session简介 1.查看帮助文档,贴了一部分，后面省略了 >>import requests>>help( 阅读全文

摘要： 前言 发送post的请求参考例子很简单，实际遇到的情况却是很复杂的，首先第一个post请求肯定是登录了，但登录是最难处理的。登录问题解决了，后面都简单了。 一、查看官方文档 1.学习一个新的模块，其实不用去百度什么的，直接用help函数就能查看相关注释和案例内容。 >>import requests 阅读全文