01 2018 档案

Vue之指令
摘要：什么是Vue？ vue是一个构建用户界面的javascript框架 特点：轻量，高效，简单易学，现阶段最盛行的前端三大框架（Vue，Angular，React）之一 特性：双向数据绑定，数据驱使视图 如何使用？ 1 引入vue.js 2 展示html 3 建立vue对象 在元素中插入值： 指令：是带 阅读全文
posted @ 2018-01-25 20:12 East~L 阅读(131) 评论(0) 推荐(0)
Scrapy框架
摘要：Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser 阅读全文
posted @ 2018-01-24 15:46 East~L 阅读(224) 评论(0) 推荐(0)
爬虫提高性能：串行、线程进程、异步非阻塞
摘要：阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 阅读全文
posted @ 2018-01-24 15:39 East~L 阅读(268) 评论(0) 推荐(0)
爬虫之登录流程
摘要：一 先获取登录页面 拿到authenticity_token1 请求的url:https://github.com/login2 请求方法：GET3 请求头：User-Agent r1 = requests.get('https://github.com/login', headers={ 'Use 阅读全文
posted @ 2018-01-20 15:16 East~L
MongoDB
摘要：一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库 1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。 不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（row）的概 阅读全文
posted @ 2018-01-19 21:50 East~L 阅读(167) 评论(0) 推荐(0)
Beautifulsoup模块
摘要：一 简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-19 16:21 East~L 阅读(153) 评论(0) 推荐(0)
破解极验滑动验证码
摘要：一 介绍 一些网站会在正常的账号密码认证之外加一些验证码，以此来明确地区分人/机行为，从一定程度上达到反爬的效果，对于简单的校验码Tesserocr就可以搞定，如下 但一些网站加入了滑动验证码，最典型的要属于极验滑动认证了，极验官网：http://www.geetest.com/，下图是极验的登录界 阅读全文
posted @ 2018-01-18 18:57 East~L
请求库之selenium
摘要：一 介绍 二 安装 安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.29，并非2.9 国内镜像网站地址：http://npm.taobao.org/m 阅读全文
posted @ 2018-01-17 19:27 East~L 阅读(192) 评论(0) 推荐(0)
请求库之requests
摘要：一 介绍 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requests.get('https://www.baidu.com/s?wd=python&pn=1 阅读全文
posted @ 2018-01-15 21:37 East~L 阅读(188) 评论(0) 推荐(0)
爬虫基本原理
摘要：一 什么是爬虫 二 爬虫的基本流程 三 请求与响应 四 Request 五 Response 六 总结 import requests import re import time import hashlib def get_page(url): print('GET %s' %url) try: 阅读全文
posted @ 2018-01-15 20:02 East~L 阅读(266) 评论(0) 推荐(0)
Flask-SQLAlchemy
摘要：一、介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 组成部分： Engine，框架的引擎 Connection Pooling ，数据库 阅读全文
posted @ 2018-01-11 21:13 East~L 阅读(155) 评论(0) 推荐(0)
虚拟环境
摘要：pip3 install virtualenv 虚拟环境（不同的项目需要不同的虚拟环境） # 创建虚拟环境 virtualenv env1 # 进入虚拟环境 Scripts/activate # 退出虚拟换金 Scripts/deactivate ps：在cmd中流程 创建虚拟环境（virtualenv 名称 ）-> 查看目录（dir） 进入虚拟环境（... 阅读全文
posted @ 2018-01-08 20:30 East~L 阅读(110) 评论(0) 推荐(0)