05 2020 档案
摘要：位置：middlewares.py文件中 一、爬虫中间件 二、下载中间件 1、位置：引擎和下载器之间 2、作用：批量拦截到整个工程中所有的请求和响应 3、拦截请求： UA伪装：写在process_request方法中 # UA池 user_agent_list = [ "Mozilla/5.0 (W
阅读全文
摘要：基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？ 字符串：只需要基于xpath进行解析且提交管道进行持久化存储 图片：xpath解析出图片src的属性值，单独的对图片地址发起请求获取图片二进制类型的数据 ImagesPipeline： 只需要将img的src的属性值进行解析，提交到管道
阅读全文
摘要：一、引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心)二、调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的
阅读全文
摘要：全站数据爬取就是将网站中某板块下的全部页码对应的页面进行爬取解析 需求：爬取校花网中照片的名称 实现方式： 将所有页面的url添加到start_url列表中（不推荐） 自行手动的进行请求发送（推荐） 手动请求发送 yield scrapy.Request(url=new_url,callback=s
阅读全文
摘要：基于终端指令： 要求：只可以将parse方法的返回值存储到本地的文本文件中 注意：持久批存储对应的文本文件类型只可以为：('csv', 'pickle', 'json', 'xml', 'jl', 'jsonlines', 'marshal') 指令：scrapy crawl xxx -o file
阅读全文
摘要：什么是scrapy 爬虫中封装好的一个明星框架 功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式 scrapy框架的基本使用 环境的安装： mac or linux :pip insatall scrapy window: - pip install wheel - 下载twist
阅读全文
摘要：如果定位的标签存在于iframe标签中，则必须使用switch_to.frame(id) 导入动作链（拖动）：from selenium.webdriver import ActionChains 实例化一个动作链对象：action = ActionChains(bro) click_and_hol
阅读全文
摘要：一、selenium模块和爬虫之间具有怎样的关联 便捷的获取网站中动态加载的数据 便捷实现模拟登录 二、什么是selenium模块 基于浏览器自动化的一个模块 三、selenium使用流程 1、环境安装：pip install selenium -i https://mirrors.aliyun.c
阅读全文
摘要：一、目的：在爬虫中使用异步实现高性能的数据爬取操作 二、异步爬虫的方式： 1、多线程、多进程（不建议） 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行 弊端：无法无限制的开启多线程或者多进程 2、线程池、进程池（适当使用） 好处：我们可以降低系统对进程或者线程创建和销毁的一个
阅读全文
摘要：代理：破解封IP这种反爬机制 什么是代理： 即代理服务器 代理的作用： 突破自身IP访问的限制 可以隐藏自身真实IP 代理相关的网站： 快代理 西祠代理 www.goubanjia.com 代理的类型 http:应用于http协议对应的url中 https:应用到https协议对应的url中 代理i
阅读全文
摘要：一、xpath解析原理： 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获 二、环境的安装： pip install lxml 三、如何实例化一个etree对象 from lxml.html
阅读全文
摘要：bs4数据解析的原理 实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取 环境安装： pip install bs4 pip install lxml 如何实例化BeautifulSoup对象
阅读全文
摘要：import requests import re import os if __name__ == '__main__': # 创建一个文件夹，用来保存所有的图片 if not os.path.exists('./qiutuLibs'): os.mkdir('./qiutuLibs') url =
阅读全文
摘要：数据解析分类 正则 bs4 xpath（重点） 数据解析原理概述： 解析的局部的文本内容都会在标签或者标签对应的属性中进行存储 进行指定标签的定位 对标签或者标签对应的属性中存储的数据进行提取（解析）
阅读全文
摘要：一、在index.js文件中导入vue和vue-router import Vue from 'vue' //1、导入 import VueRouter from 'vue-router' 二、模块化机制，使用Router Vue.use(VueRouter) 三、创建路由器对象 const rou
阅读全文
摘要：多页应用 MPA 每一个页面都是一个.html文件 SEO优化 单页应用 SPA 相当于一个a标签，切换不同的视图 是否用户群体比较多 知乎、掘金，网易云，百度移动端等 后台管理系统 vue-element-admin
阅读全文
摘要：1、在当前项目终端执行 vue add element 2、执行完成提示以下内容 3、选择第二种，按需导入 注：导入element之前一定要提交App.vue这个文件，因为导入element会覆盖这个文件
阅读全文
摘要：1执行：get-ExecutionPolicy，回复Restricted，表示状态是禁止的2.执行：set-ExecutionPolicy RemoteSigned3.选择Y4.在此执行
阅读全文
摘要：this.user = object.assign({},this.user{ 传的值 })
阅读全文
摘要：<body> <div id="app"> <!-- 3.使用子组件 --> <App></App> </div> <script> //1.创建中央事件总线 bus const bus = new Vue(); Vue.component('B', { data() { return { coun
阅读全文
摘要：<body> <div id="app"> <!-- 3.使用子组件 --> <App></App> </div> <script> //全局组件 //父传子：通过props进行通信 //1.在子组件中声明props接收在父组件挂载的属性 //2.可以在子组件的template中任意使用 //3.在
阅读全文
摘要：<body> <div id="app"> <!-- 3.使用子组件 --> <App></App> </div> <script> //全局组件 //子传父： //1.在父组件中绑定自定义事件 //2.在子组件触发原生的事件，在事件函数通过this.$emit触发自定义的事件 Vue.compon
阅读全文
摘要：//创建全局组件使用component方法，第一个参数是组件名，第二个配置 //只要创建全局组件，可以在任意地方的template中使用 Vue.component('Vheader', { template: ` <div> 我是导航组件 </div> ` })
阅读全文
摘要：使用局部组件的打油诗：创子、挂子、用子 <body> <div id="app"> <!-- 3.使用子组件 --> <App></App> </div> <script> //App组件包括html+css+js //1.创建组件 //注意：在组件中这个data必须是一个函数，返回一个对象 con
阅读全文
摘要：<div id="app"> <!-- 过滤器使用需要加上管道符 | --> <h3>{{price | myPrice('￥')}}</h3> <h3>{{msg | myReverse}}</h3> </div> <script> //创建全局过滤器 Vue.filter('myReverse'
阅读全文
摘要：<div id="app"> <h3>{{reverseMsg}}</h3> </div> <script> new Vue({ el: '#app', data: { msg: 'hello world' }, computed: { //computed默认只有getter方法 //计算属性最大
阅读全文
摘要：<div id="app"> <input type="text" v-model="msg"> <h3>{{msg}}</h3> <br> <h3>{{stus[0].name}}</h3> <button @click='stus[0].name = "Tom"'>改变</button> </d
阅读全文
摘要：指令系统： 指令中封闭了一些dom行为，结合属性作为一个暗号，暗号有对应的值，根据不同的值，框架会进行相关dom操作的绑定 1）、v-text 等价于 {{ }} 都是插入值，直接渲染，实现原理：innerText 2）、v-html 既能插入值，又能插入标签，实现原理：innerHTML 3）、v
阅读全文
摘要：jquery库 相当于 dom操作+请求 art-template库 相当于 模板引擎 框架 = 全方位功能齐全 即 简易的dom体验+发请求+模板引擎+路由功能+数据管理 以KFC为例：库就是一个个小套餐，框架就是全家桶 两者代码上的不同 一般使用库的代码是调用某个函数，我们自己把控库的代码 一般
阅读全文
摘要：es6模块功能主要有两个命令构成：export和import export用于规定模块的对外接口 import用于输入其他模块提供的功能 一个模块就是一个独立的文件
阅读全文
摘要：async作用：使得异步操作更加方便 基本操作：async它会返回一个Promise对象，能使用then、catch方法 async是Generator的一个语法糖 如果async函数中有多个await，那么then函数会等待所有的await指令运行完的结果，才去执行
阅读全文
摘要：一、介绍： promise（承诺）相当于一个容器，保存着未来才会结束的事件（异步操作）的一个结果 各种异步操作都可以用同样的方法进行处理，比如axios 二、特点： 1、对象的状态不受外界影响，处理异步操作时有三个状态（Pending进行中、Resolved已完成、Rejected失败） 2、一旦状
阅读全文
摘要：一、首先创建一个新用户，用来登录Django管理网站，进入manage.py目录下，使用如下命令来进行创建： >>python manage.py createsuperuser 二、接下来输入用户名称： >>Username(leave bkank to use 'administrator'):
阅读全文
摘要：wx.request({ url: 'http://127.0.0.1:8000/api/login/', method: 'POST', data: {phone:this.data.phone,code:this.data.code}, success: (result) => { consol
阅读全文
摘要：wxml view>手机号：</view> <input value="{{phone}}" bindinput="bindPhone" placeholder="请输入手机号"></input> <view>验证码： <text>点击获取验证码</text> </view> <input valu
阅读全文
摘要：一、安装drf框架 pip3 install djangorestframework 二、添加rest_framework应用 在settings.py的INSTALLED_APPS中添加'rest_framework' INSTALLED_APPS = [ ... 'rest_framework'
阅读全文
摘要：wxml 1 <view bindtap="uploadImage">请上传图片</view> 2 <view class="container"> 3 <image wx:for="{{imageList}}" src="{{item}}"</image> 4 </view> js data: {
阅读全文
摘要：wxml <text>商品列表</text> <view> <view wx:for="{{dataList}}">{{index}}-{{item}}</view> <view wx:for="{{dataList}}" wx:for-index="idx" wx:for-item="x">{{i
阅读全文
摘要：wxml <button open-type="getUserInfo" bindgetuserinfo="fetchInfo">获取位置</button> <view bindtap="getLocalPath">{{localPath}}</view> js data: { "localPath
阅读全文
摘要：方式一 wxml <view bindtap="getUserName">获取当前用户名</view> js getUserName:function(){ //调用微信提供的接口获取用户信息 wx.getUserInfo({ success:function(res){ //调用成功后触发 },
阅读全文
摘要：一、对标签绑定点击事件 在wxml文件中绑定事件名称及需要传的参数 <view bindtap="clickMe" data-id="1" data-name="csk">点我</view> 在wxjs文件中添加函数 Page({ ... clickMe:function(e){ var nid =
阅读全文
摘要：一、搭建环境 二、全局配置 pages window tabbar 三、页面 json js wxml wxss 四、flex布局 display:flex; flex-direction:row/column; justify-content: align-item: 五、小程序开发 1）组件（标
阅读全文
摘要：flex布局：一种非常方便的布局 常用以下4个样式： { //设置flex布局 display: flex; // flex-direction表示规定主轴的方向 flex-direction: row; // row 规定主轴方向为水平 // column 规定主轴方向为垂直 //元素在主轴方向的
阅读全文
浙公网安备 33010602011771号