Fork me on GitHub
摘要: Selenium selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 官方文档:http 阅读全文
posted @ 2018-12-10 12:59 醉生卐梦死 阅读(1045) 评论(0) 推荐(0)
摘要: ORM查询等操作 基础查询13条 <1> all(): 查询所有结果 <2> filter(**kwargs): 它包含了与所给筛选条件相匹配的对象 <3> get(**kwargs): 返回与所给筛选条件相匹配的对象,返回结果有且只有一个,如果符合筛选条件的对象超过一个或者没有都会抛出错误。 <4 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(337) 评论(0) 推荐(0)
摘要: Django ORM执行原生SQL Django终端打印SQL语句 在Django项目的settings.py文件中,在最后复制粘贴如下代码: 即为你的Django项目配置上一个名为django.db.backends的logger实例即可查看翻译后的SQL语句。 在Python脚本中调用Djang 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(143) 评论(0) 推荐(0)
摘要: AJAX准备知识:JSON JSON复习 JSON 指的是 JavaScript 对象表示法(JavaScript Object Notation) JSON 是轻量级的文本数据交换格式 JSON 独立于语言 * JSON 具有自我描述性,更易理解 JSON 使用 JavaScript 语法来描述数 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(193) 评论(0) 推荐(0)
摘要: 分页,cookie,session 最简易的分页 当数据库中数据有很多,我们通常会在前端页面做分页展示。分页的数据可以在前端页面实现,也可以在后端实现分页。后端实现分页的原理就是每次只请求一页数据。 准备工作:我们使用脚本批量创建一些测试数据(将下面的代码保存到bulk_create.py文件中放到 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(244) 评论(0) 推荐(0)
摘要: 中间件 中间件介绍 什么是中间件? 官方的说法:中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统,用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能。 但是由于其影响的是全局,所以需要谨慎使用,使用不当会影响性能。 我们一直 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(191) 评论(0) 推荐(0)
摘要: auth用户认证系统 Django自带的用户认证 我们在开发一个网站的时候,无可避免的需要设计实现网站的用户系统。此时我们需要实现包括用户注册、用户登录、用户认证、注销、修改密码等功能,这还真是个麻烦的事情呢。 Django作为一个完美主义者的终极框架,当然也会想到用户的这些痛点。它内置了强大的用户 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(380) 评论(0) 推荐(0)
摘要: Form介绍 HTML页面中利用form表单向后端提交数据时,都会写一些获取用户输入的标签并且用form标签把它们包起来。 当需要对用户的输入做校验,比如校验用户是否输入,输入的长度和格式等正不正确。如果用户输入的内容有错误就需要在页面上相应的位置显示对应的错误信息.。 Django form组件就 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(282) 评论(0) 推荐(0)
摘要: BeautifulSoup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式 官方文档链接,相同效果的库还有pyquery模块,详见此 解析器 对网页进行析取时,若未规定解析器,此时使用的是py 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(7823) 评论(0) 推荐(1)
摘要: requests模块 使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) 注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 官方 阅读全文
posted @ 2018-12-10 12:58 醉生卐梦死 阅读(27330) 评论(0) 推荐(1)
摘要: PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了。 官网地址:htt 阅读全文
posted @ 2018-12-10 12:57 醉生卐梦死 阅读(1194) 评论(0) 推荐(0)
摘要: 什么是Urllib Urllib是python内置的HTTP请求库,中文文档如下:https://docs.python.org/3/library/urllib.html包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块 阅读全文
posted @ 2018-12-10 12:57 醉生卐梦死 阅读(676) 评论(0) 推荐(0)
摘要: admin组件使用 Django 提供了基于 web页面的管理工具。 admin组件使用 Django 提供了基于 web页面的管理工具。 Django 自动管理工具是 django.contrib 的一部分。你可以在项目的 settings.py 中的 INSTALLED_APPS 看到它: # 阅读全文
posted @ 2018-12-10 12:57 醉生卐梦死 阅读(269) 评论(0) 推荐(0)
摘要: 1. 前言:Mat类简介 OpenCV 作为强大的计算机视觉开源库,很大程度上参考了MatLab的实现细节和语法风格,比如说,在OpenCV2.x版本以后,越来越多的函数实现了MatLab所具有的功能,甚至干脆连函数名都一模一样(如 imread, imshow,imwriter等)。 在计算机内存 阅读全文
posted @ 2018-12-10 12:57 醉生卐梦死 阅读(385) 评论(0) 推荐(0)
摘要: OpenCV 官方链接为:https://www.opencv.org/ 官方文档链接为:https://docs.opencv.org/ OpenCV下载及安装 下载: https://www.opencv.org/releases.html 点击该地址,win下安装点击下图方框,不同环境下载不同 阅读全文
posted @ 2018-12-10 12:57 醉生卐梦死 阅读(338) 评论(0) 推荐(0)
摘要: windows 安装MongoDB 4.03教程 下载MongoDB 下载地址:https://www.mongodb.com/download-center?jmp=nav#community 下载页面 下载完成 安装 接受条款界面 自定义安装 更改路径 路径设置成功 数据库、日志路径设置 不安装 阅读全文
posted @ 2018-12-10 12:57 醉生卐梦死 阅读(200) 评论(0) 推荐(0)
摘要: 首先推荐一款mongodb可视化工具:Robo 3t 下载链接为 https://robomongo.org/,然后瞅一眼数据库的使用排名,说明学习MongoDB是非常有必要的 MongoDB 概念解析 不管我们学习什么数据库都应该学习其中的基础概念,在mongodb中基本的概念是文档、集合、数据库 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(739) 评论(0) 推荐(0)
摘要: 模型层:Object Relational Mapping(ORM) ORM 定义 ORM是Object Relational Mapping的简称,中文翻译为对象关系模型,是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术,ORM在业务逻辑层和数据库层之间充当了桥梁的作用。 由来 让我们 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(486) 评论(0) 推荐(0)
摘要: 视图系统(从属于视图层) Django的view(视图) 一个视图函数(类),简称视图,是一个简单的Python 函数(类),它接受Web请求并且返回Web响应。 响应可以是一张网页的HTML内容,一个重定向,一个404错误,一个XML文档,或者一张图片。 无论视图本身包含什么逻辑,都要返回响应。代 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(367) 评论(0) 推荐(0)
摘要: !=、== 、!==、 的用法和区别 原型和原型链 一. 普通对象与函数对象 JavaScript 中,万物皆对象!但对象也是有区别的。分为普通对象和函数对象,Object 、Function 是 JS 自带的函数对象。下面举例说明 在上面的例子中 o1 o2 o3 为普通对象,f1 f2 f3 为 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(171) 评论(0) 推荐(0)
摘要: Ubuntu安装pycharm专业破解版方法 首先我们要下载pycharm的安装包, 地址为https://www.jetbrains.com/pycharm/download/#section=linux 下载的默认地址为当前用户的下载目录下,如下图 右击解压文件 接下来需要把文件Jetbrain 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(3736) 评论(0) 推荐(0)
摘要: asyncio asyncio 是干什么的? 异步网络操作 并发 协程 python3.0时代,标准库里的异步网络模块:select(非常底层) python3.0时代,第三方异步网络库:Tornado python3.4时代,asyncio:支持TCP,子进程 现在的asyncio,有了很多的模块 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(518) 评论(0) 推荐(0)
摘要: 协程 协程概念及目的 1、协程: 单线程实现并发、在应用程序里控制多个任务的切换+保存状态 优点: 应用程序级别速度要远远高于操作系统的切换 缺点: 多个任务一旦有一个阻塞没有切,整个线程都阻塞在原地,该线程内的其他的任务都不能执行了 一旦引入协程,就需要检测单线程下所有的IO行为, 实现遇到IO就 阅读全文
posted @ 2018-12-10 12:56 醉生卐梦死 阅读(712) 评论(0) 推荐(0)
摘要: 协程 1、协程: 单线程实现并发 在应用程序里控制多个任务的切换+保存状态 优点: 应用程序级别速度要远远高于操作系统的切换 缺点: 多个任务一旦有一个阻塞没有切,整个线程都阻塞在原地,该线程内的其他的任务都不能执行了 一旦引入协程,就需要检测单线程下所有的IO行为, 实现遇到IO就切换,少一个都不 阅读全文
posted @ 2018-12-10 12:55 醉生卐梦死 阅读(562) 评论(0) 推荐(0)
摘要: 词法分析(尝试理解) JavaScript中在调用函数的那一瞬间,会先进行词法分析。 词法分析的过程: 当函数调用的前一瞬间(可以理解为是编译时间,不执行),会先形成一个激活对象:Avtive Object(AO),并会分析以下3个方面: 1:函数参数,如果有,则将此参数赋值给AO,且值为undef 阅读全文
posted @ 2018-12-10 12:53 醉生卐梦死 阅读(409) 评论(0) 推荐(0)
摘要: Chrome开发者工具使用技巧一:https://www.cnblogs.com/charliechu/p/5948448.html Chrome开发者工具使用技巧二:http://www.css88.com/doc/chrome-devtools/ 截取全网页图片:右键检查,Ctrl+Shift+ 阅读全文
posted @ 2018-12-10 12:53 醉生卐梦死 阅读(151) 评论(0) 推荐(0)
摘要: window安装python解释器(3.6) 安装过程详见下面链接:https://jingyan.baidu.com/article/e9fb46e1502c5a7520f76640.html python解释器环境变量问题 windows打开cmd,输入python后能够进入python互交界面 阅读全文
posted @ 2018-12-10 12:53 醉生卐梦死 阅读(5709) 评论(0) 推荐(0)
摘要: Scrapy依赖的库比较多,至少需要依赖库有Twisted 14.0,lxml 3.4,pyOpenSSL 0.14。而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是Windows。 #Windows平台 1、pip3 install wheel #安装后,便支持通过wh 阅读全文
posted @ 2018-12-10 12:52 醉生卐梦死 阅读(164) 评论(0) 推荐(0)
摘要: 用pycharm创建虚拟环境 PyCharm中使用虚拟环境的图文解析 最后点击create创建,结果如下: 在虚拟环境下安装第三方库 点击加号 错误详细信息 错误原因:由于pip 10版本中没有main(),如果在不降级的情况下,修改这个文件 找到pycharm安装目录下的packaging_too 阅读全文
posted @ 2018-12-10 12:52 醉生卐梦死 阅读(180) 评论(0) 推荐(0)
摘要: 内置函数中 eval() 函数用来执行一个字符串表达式,只能执行单行字符串,并返回表达式的值 exec 执行储存在字符串或文件中的 Python 语句,相比于 eval,exec可以执行更复杂的 Python 代码。可单行可多行字符串执行,但是没有返回值 假如四个线程,四个cpu,一个进程内的四个线 阅读全文
posted @ 2018-12-10 12:52 醉生卐梦死 阅读(469) 评论(0) 推荐(0)