蓝冰蝶 - 博客园

2019年3月4日

摘要：概要 scrapy框架介绍环境安装基础使用一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要阅读全文

posted @ 2019-03-04 15:55 蓝冰蝶阅读(157) 评论(0) 推荐(0)

爬虫（八）移动端数据爬取

摘要：概要 fiddler简介手机APP抓包设置 fiddler设置安装证书下载安全证书安装局域网设置 fiddler手机抓包测试 fiddler设置安装证书下载安全证书安装局域网设置 fiddler手机抓包测试 1 什么是Fiddler? Fiddler是位于客户端和服务器端的HTTP代理阅读全文

posted @ 2019-03-04 15:28 蓝冰蝶阅读(514) 评论(0) 推荐(0)

2019年2月27日

爬虫（七）图片懒加载技术、selenium和PhantomJS

摘要：动态数据加载处理一.图片懒加载什么是图片懒加载？案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree 阅读全文

posted @ 2019-02-27 21:10 蓝冰蝶阅读(446) 评论(0) 推荐(0)

爬虫（六）三种数据解析方式

摘要：一.正解解析常用正则表达式回顾：回顾练习：项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests import re import os if __name__ = 阅读全文

posted @ 2019-02-27 21:08 蓝冰蝶阅读(409) 评论(0) 推荐(0)

2019年2月26日

爬虫（五）requests模块2

摘要：引入有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/env python # -*- coding:utf-8 -*- import requests 阅读全文

posted @ 2019-02-26 19:41 蓝冰蝶阅读(547) 评论(0) 推荐(0)

爬虫（四）requests模块1

摘要：引入 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。今日概要基于requests的get请求基于requests模块的p 阅读全文

posted @ 2019-02-26 19:34 蓝冰蝶阅读(173) 评论(0) 推荐(0)

爬虫（三）http和https协议

摘要：一.HTTP协议 1.官方概念： HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方阅读全文

posted @ 2019-02-26 19:26 蓝冰蝶阅读(502) 评论(0) 推荐(0)

爬虫（二）Python网络爬虫相关基础概念、爬取get请求的页面数据

摘要：什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。哪些语言可以实现爬虫 1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。 2.java：可以实现爬虫。java 阅读全文

posted @ 2019-02-26 19:24 蓝冰蝶阅读(371) 评论(0) 推荐(0)

爬虫（一）jupyter环境安装

摘要：一、什么是Jupyter Notebook？ 1. 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍简而言之，Jupyter Notebook是以网页的形式打开，可以在阅读全文

posted @ 2019-02-26 17:46 蓝冰蝶阅读(193) 评论(0) 推荐(0)

vue（二）

摘要：空阅读全文

posted @ 2019-02-26 17:36 蓝冰蝶阅读(144) 评论(0) 推荐(0)