随笔分类 -  爬虫基础学习

爬虫基础学习
爬虫 爬取妹子图
摘要：功能写的很差，简单练手 结果： 阅读全文
posted @ 2019-05-17 20:43 Pythia丶陌乐 阅读(1469) 评论(0) 推荐(0)
字符串加密和解密
摘要：1、 安装教程 2、加密 3、 解密 4、 测试执行代码 5、 结果 阅读全文
posted @ 2019-05-17 20:38 Pythia丶陌乐 阅读(498) 评论(0) 推荐(0)
python 图片上传写入磁盘功能
摘要：本文是采取django框架，前端上传图片后端接收后写入磁盘，数据库记录图片在磁盘上的路径(相对)，以下是前端上传到后端入库的基本流程 一. html代码 # 必须要加上 enctype="multipart/form-data" 将文件以二进制的形式上传，这样可以实现多种类型的文件上传 二、后端接收 阅读全文
posted @ 2018-06-30 14:01 Pythia丶陌乐 阅读(993) 评论(0) 推荐(0)
爬虫知识总结
摘要：阅读目录 第一篇：爬虫基本原理 第二篇：请求库之requests，selenium 第三篇：解析库之re、beautifulsoup、pyquery 第四篇：存储库之mongodb，redis，mysql 第五篇：爬虫高性能相关 第六篇：Scrapy框架 第七篇：分布式爬虫 参考资料：http:// 阅读全文
posted @ 2018-01-26 20:08 Pythia丶陌乐 阅读(156) 评论(0) 推荐(0)
分布式爬虫
摘要：一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文
posted @ 2018-01-26 19:37 Pythia丶陌乐 阅读(185) 评论(0) 推荐(0)
爬虫框架：scrapy
摘要：一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2018-01-23 15:19 Pythia丶陌乐 阅读(559) 评论(0) 推荐(0)
爬虫性能相关
摘要：一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文
posted @ 2018-01-22 15:49 Pythia丶陌乐 阅读(226) 评论(0) 推荐(0)
Beautifulsoup模块
摘要：一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-19 17:01 Pythia丶陌乐 阅读(159) 评论(0) 推荐(0)
selenium模块
摘要：一 介绍 官网：http://selenium-python.readthedocs.io 二 安装 三 基本使用 四 选择器 一 基本用法 二 xpath 三 获取标签属性 from selenium import webdriver from selenium.webdriver import 阅读全文
posted @ 2018-01-18 18:50 Pythia丶陌乐 阅读(249) 评论(0) 推荐(0)
爬虫 requests模块高级用法
摘要：一 介绍 官网链接：http://docs.python-requests.org/en/master/ 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requ 阅读全文
posted @ 2018-01-17 16:08 Pythia丶陌乐 阅读(5568) 评论(0) 推荐(0)
爬虫基本原理
摘要：一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 1 from urllib.parse import urlencode 2 import requests 3 4 headers={ 5 'Accept':'text/html,application/xhtml+xml,a 阅读全文
posted @ 2018-01-16 16:39 Pythia丶陌乐 阅读(1186) 评论(0) 推荐(0)