01 2019 档案

scrapy框架的解析
摘要：1,scrapy框架的官网:https://scrapy.org/ 什么是scrapy框架: scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用内框架,非常出名,所谓框架就是一个已经继承了各种功能(高性能异步下载, 队列,分布式,解析,持久化存储等)具有很强的项目模板,对于框架的学习, 阅读全文
posted @ 2019-01-28 21:03 帅爆太阳的男人 阅读(686) 评论(0) 推荐(0)
图片懒加载和UA池,UA代理池
摘要：1,动态数据加载的处理 图片懒加载概念: 图片懒加载是一种页面优化技术.图片作为一种网络资源,在被请求时也与静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面首屏加载时间,为了解决这些问题,通过前后端配合,是图片仅在浏览器当前窗口出现时才加载给图片,达到减少首屏图片请求 阅读全文
posted @ 2019-01-28 21:02 帅爆太阳的男人 阅读(366) 评论(0) 推荐(0)
jupyter环境的安装
摘要：1,什么是jupyter notebook? 简介:jupyter notebook是基于网页的用户交互计算机的应用程序,其可被用于全过程计算:开发,文档编写,运行代码,和展示结果 简而言之,Jupyter Noyebook是以网页的形式打开的,可以在网页中直接编写和运行代码,代码的运行结果也会直接 阅读全文
posted @ 2019-01-28 21:02 帅爆太阳的男人 阅读(163) 评论(0) 推荐(0)
爬虫的三种数据解析方式和验证码的处理
摘要：1,正则解析:就是通过正则匹配定位到要获取数据的标签,获取响应的数据 直接上代码(以爬取糗事百科为例) 2,xpath的表达式:是一种用来定位标签的层级关系的一中表达式 xpath表达式的要点: 代码中xpath表达式进行数据解析: 下载:pip install lxml 导包: from lxml 阅读全文
posted @ 2019-01-28 21:01 帅爆太阳的男人 阅读(3788) 评论(0) 推荐(0)
第一个get请求的爬虫程序
摘要：一:urllib库: urllib是Python自带的一个用于爬虫的库,器主要作用就是可以通过代码模拟浏览器发送请求.其被用到子模块在Python3中的urllib.request和urllib.parse,在Python2中是urllib和urllib2. 二,有易到难的爬虫程序: 爬取到百度页面 阅读全文
posted @ 2019-01-28 21:00 帅爆太阳的男人 阅读(376) 评论(0) 推荐(0)
Python爬虫之requests模块
摘要：1,requests的get请求的发送 什么是requests模块:requests模块是Python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用简洁高效的语言,在爬虫领域占据着半壁江山的位置 requests向比较与urllib的request的极大优势: 不用手动 阅读全文
posted @ 2019-01-28 21:00 帅爆太阳的男人 阅读(458) 评论(0) 推荐(0)
MongoDB 数据库的概念以增删改查
摘要：1,MongoDB概念解析: Mongo数据库基本概念是文档,集合,数据库,下表给予介绍 一个MongoDB中可以建立多个数据库.MongoDB的默认数据库为"db",该数据存在data目录中.MongoDB的单个 实例 可以容纳多个独立的数据库.每一个都有自己的集合权限,不同的数据库也放置在不同的 阅读全文
posted @ 2019-01-14 11:28 帅爆太阳的男人 阅读(286) 评论(0) 推荐(0)
MongoDB数据库的初识
摘要：1,MongoDB是基于分布式文件存储的数据库,有c++语言编写,旨在为WEB应用提供可扩展的高效性能数据存储解决方案. MongoDB是一个介于关系型数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的 在高负载的情况下,添加更多的节点,可以保证服务器性能 MongoDB 阅读全文
posted @ 2019-01-14 11:27 帅爆太阳的男人 阅读(139) 评论(0) 推荐(0)
基于websocket的单聊.群聊
摘要：关于ai.baidu.com的 代码: 调用图灵的代码: 实例化AipNlp的代码: 最终app的代码: 前端代码: 群聊的代码: 群聊的前端代码: 单聊的代码: 单聊的前端代码: Websocket代码: 解密代码: 加密: 阅读全文
posted @ 2019-01-14 11:27 帅爆太阳的男人 阅读(442) 评论(0) 推荐(0)
百度AI的语音合成,语音识别
摘要：1,语音的合成,识别 后端代码: 调用图灵的代码: 阅读全文
posted @ 2019-01-14 11:26 帅爆太阳的男人 阅读(1740) 评论(0) 推荐(0)
redis缓存数据库的详解
摘要：1,什么是redis? Redis是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库 Redis与其他key-value缓存产品有以下三个特点: 2,Redis优势 3,Redis与其他key-value存储有什么不同? 4,安装 Windows安装地址: https://gi 阅读全文
posted @ 2019-01-14 11:26 帅爆太阳的男人 阅读(709) 评论(0) 推荐(0)
flask的CBV,flash,Flask-Session,及WTForms-MoudelForm
摘要：1,CBV: from flask import vews class LoginView(views.MethodView): def get(self): return "雪雪其实也很好," def post(self): return "听说雪人很要走了,那些等有机会,等有时间,都觉的遥远了" 阅读全文
posted @ 2019-01-14 10:02 帅爆太阳的男人 阅读(352) 评论(0) 推荐(0)
初识 flask
摘要：1,Python现阶段三大主流web框架Django, Tornado, Flask对比 2,Flask的安装 pip install Flask 千万不要用pycharm创建Flask项目,它会自动给设置环境变量 创建py文件导入Flask即可 from falsk import Flask ap 阅读全文
posted @ 2019-01-14 10:01 帅爆太阳的男人 阅读(183) 评论(0) 推荐(0)
flask的路由配置,特殊装饰器
摘要：1,flask中的路由 endpoint-url_for反向地址 endpoint默认是视图函数名endpoint="雪雪" methods 指定视图函数的请求方式,默认GET default={"nid":1}指定视图函数的默认值 strict_slashes = False 是否严格遵循路由规则 阅读全文
posted @ 2019-01-14 10:01 帅爆太阳的男人 阅读(466) 评论(0) 推荐(0)
跨域,Content-Type组件
摘要：1,跨域:是浏览器的同源策略 阻止ajax请求不组织src请求 2,一个源的定义:如果两个页面的协议,端口(如果由指定)和域名都相同,则两个页面具有相同的源 下面给出相对http://a.xyz.com/dir/page.html同源检测的示例 3,同源策略是什么 同源策略是浏览器的一个安全功能,不 阅读全文
posted @ 2019-01-14 09:57 帅爆太阳的男人 阅读(1119) 评论(0) 推荐(0)
分页, 解析器, 渲染器
摘要：1,分页:分页DRF提供三种 分页方式: 2,PageNumberPagination的源码如下: 3,LimitOffsetPagination分页器的源码: 4,cursorPaginator油表的源码: 5,分页器的代码: 6,三种分页方法都有一个共同的方法 7,分页的view的代码: 8,解 阅读全文
posted @ 2019-01-14 09:56 帅爆太阳的男人 阅读(200) 评论(0) 推荐(0)
DRF的认证,频率,权限
摘要：1,DRF的认证 初识认证:浏览器是无状态的,一次导致每次发的请求都是新的请求,所以每次请求,服务器都会进行校验,这样就很繁琐,这趟我们就需要给每一个用户登录后一个新的标识,浏览器每次都会带着这个唯一标识和在服务器中的标识做匹配,成功就通过,不成功就不通过. 认证的使用,见下图: 1.2, DRF的 阅读全文
posted @ 2019-01-14 09:55 帅爆太阳的男人 阅读(179) 评论(0) 推荐(0)
序列化组件
摘要：1,序列化 2,反序列化,post请求 3,反序列化,put/patch请求 4,验证 def_my_validate(value): 不通过抛异常:raise serializer.ValidationError("错误信息") 通过return value 配置 >给字段加validations 阅读全文
posted @ 2019-01-14 09:54 帅爆太阳的男人 阅读(163) 评论(0) 推荐(0)
视图组件,路由组件,版本控制
摘要：1,视图组件 django中写CBV的时候继承View,rest_framework继承的是APIView,,其实APIView是继承View 由此可以看出不论是django还是rest_framework用CBV的写法都是写as_view(),所以还是看一下源码吧, APIView继承View,并 阅读全文
posted @ 2019-01-14 09:54 帅爆太阳的男人 阅读(301) 评论(0) 推荐(0)
Restful规范
摘要：1,REST风格 资源 网页中能看到的都是资源 uri 统一资源标识符 url 统一资源定位符 统一资源接口 对资源的操作根据HTTP请求方式的不同进行不同的操作 遵循HTTP请求方式的语义 前后端传输的是资源的表述(前后端传输的是字符串的形式,每次传输时,都需要数据格式的转化) 展现的是资源的状态 阅读全文
posted @ 2019-01-14 09:53 帅爆太阳的男人 阅读(182) 评论(0) 推荐(0)
哨兵和docker容器
摘要：1,redis哨兵的配置 配置3个哨兵配置文件都上边所示,只不过端口要改变 2,启动三个端口实例 redis-server redis-6379.conf redis-server redis-6380.conf redis-server redis-6381.conf 3,检查三个redis实例的 阅读全文
posted @ 2019-01-14 09:51 帅爆太阳的男人 阅读(457) 评论(0) 推荐(0)
docker大全集
摘要：1,什么是docker 2,docker的应用场景 3,为什么要用docker 那我们先看以前是怎们部署项目的 由于物理机的诸多问题,后来出现了虚拟机 4,docker vs 传统虚拟机 一般几十个 5,环境配置的难题 让开发人员最头疼的麻烦事之一就是环境配置,每台计算机的环境都不相同,应该如何确保 阅读全文
posted @ 2019-01-14 09:51 帅爆太阳的男人 阅读(586) 评论(0) 推荐(0)
项目发布须知
摘要：1,项目发布更换不同的服务器,解决依赖关系的问题 pip3 frezz > requirements.py pip3 install -r requirements.py 2,准备python环境,准备虚拟环境,.激活虚拟环境 mkvirtualenv xuexue 检测是否虚拟环境正常 which 阅读全文
posted @ 2019-01-14 09:50 帅爆太阳的男人 阅读(442) 评论(0) 推荐(0)
Linux之nginx
摘要：1,nginx入门 想必我们大多数人都是通过访问网站而开始接触互联网的吧。我们平时访问的网站服务 就是 Web 网络服务，一般是指允许用户通过浏览器访问到互联网中各种资源的服务。 Web 网络服务是一种被动访问的服务程序，即只有接收到互联网中其他主机发出的 请求后才会响应，最终用于提供服务程序的 W 阅读全文
posted @ 2019-01-14 09:49 帅爆太阳的男人 阅读(147) 评论(0) 推荐(0)
Linux中的mysql.redis
摘要：1,Linux上的mysql 2,安装mariadb,在centos7底下 yum install mariadb-serve yum install MariaDB-server MariaDB-client yum install Mariadb-server systemctl start/s 阅读全文
posted @ 2019-01-14 09:48 帅爆太阳的男人 阅读(258) 评论(0) 推荐(0)