用scrapy爬取亚马逊网站项目
摘要：
这次爬取亚马逊网站，用到了scrapy，代理池，和中间件： spiders里面： # -*- coding: utf-8 -*- import scrapy from scrapy.http.request import Request from urllib.parse import urlenc 阅读全文
posted @ 2018-01-24 21:08 黎明NB 阅读(607) 评论(0) 推荐(0)
Scrapy
摘要：
一 介绍 二 安装 三 命令行工具 四 项目结构以及爬虫应用简介 五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Middeware 十 Spider Middleware 十一 settings.py 十二 爬取亚马逊商品信息 一 阅读全文
posted @ 2018-01-23 19:40 黎明NB 阅读(201) 评论(0) 推荐(0)
MongoDB修改与聚合二
摘要：
1.修改方法 一 语法 里面有三个大的语句:一个是查询条件；一个是修改字段；一个是其他参数(目前就有两个) db.table.update( 条件, 修改字段, 其他参数 ) update db1.t1 set id=10 where name="egon";#这是sql语句的更新使用 db.tab 阅读全文
posted @ 2018-01-22 18:49 黎明NB 阅读(987) 评论(0) 推荐(0)
爬虫性能相关
摘要：
一：背景知识 二：同步、异步、回调机制 三：高性能 一：背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用 阅读全文
posted @ 2018-01-20 20:09 黎明NB 阅读(181) 评论(0) 推荐(0)
爬虫基本原理
摘要：
一.爬虫是什么？ 二.爬虫的基本流程 三.请求与响应 四.Request 五.Response 六.总结 一爬虫是什么？ 二爬虫的基本流程 三请求与响应 四.Request from urllib.parse import urlencode import requests headers={ 'A 阅读全文
posted @ 2018-01-20 11:56 黎明NB 阅读(469) 评论(0) 推荐(0)
selenium模块
摘要：
一、介绍 二、安装 三、基本使用 四、选择器 五、等待元素加我 六、元素交互操作 七 、其他 八、项目练习 一、介绍 官网：http://selenium-python.readthedocs.io 二、安装 #安装：selenium+chromedriver pip3 install seleni 阅读全文
posted @ 2018-01-17 19:56 黎明NB 阅读(148) 评论(0) 推荐(0)
用requests爬取一个招聘网站
摘要：
第二步：登陆 第三步：授权 第五步：筛选职位信息 没有取到数据，因为数据是通过ajax发送的，所以我们换另一种方法解决： 阅读全文
posted @ 2018-01-17 19:43 黎明NB 阅读(283) 评论(0) 推荐(0)
SALALchemy Session与scoped_session的源码分析
摘要：
我们发现Session与scoped_session都有一些方法： 但是scoped_session的源码里面没有设置这些方法让我们从源码里去窥探下源码在哪里设置了这些方法： Session里面的方法放在了public_methods里面： scoped_session的源码里面没有这些方法？： 那 阅读全文
posted @ 2018-01-13 11:37 黎明NB 阅读(955) 评论(0) 推荐(0)
Flask-SQLAlchemy
摘要：
SQLAlchemy介绍 安装命令： pip install mysqlclient -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 阅读全文
posted @ 2018-01-11 21:16 黎明NB 阅读(166) 评论(0) 推荐(0)
浙公网安备 33010602011771号