摘要:
一、scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架 应用原理 1、指定初始url 2、解析响应内容 -给调度器 -给item;pipeline;用于做格式化;持久化 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Schedul 阅读全文
摘要:
一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle 阅读全文
摘要:
一、websocket介绍 概述-http,socket实现,短链接,请求响应-websocket,socket实现,双工通道,请求响应,推送 socket创建连接,不断开 二、websocket握手过程分析 socket入手-服务端(socket服务端) 1、服务端开启socket,监听IP和端口 阅读全文
摘要:
一、异步非阻塞框架介绍 1、介绍 支持异步非阻塞web框架:tornado , node js 2、定义对比 异步IO模块:我们作为客户端向服务端“并发”请求 异步非阻塞web框架:针对服务端,希望一个线程处理更多的请求 二、tornado异步非阻塞 【要点提炼】 使用装饰器@gen.corouti 阅读全文
摘要:
一、缓存数据库介绍 NoSQL (not only sql) redis是业界主流的Key-value nosql数据库之一,和memcached类似 redis优点: 速度快,每秒可执行大约110000设置操作,81000个/每秒的读取操作 支持丰富的数据类型,列表,结合,可排序集合,哈希等 操作 阅读全文
摘要:
一、celery介绍 1、简介 celery是分布式任务队列celery在执行任务时需要一个消息中间件来接收和发送消息,以及存储结果,一般使用rabbitmq,redis celery的优先:简单:配置和使用比较简单高可用:当任务失败或执行过程中连接中断,celery会自动尝试重新执行快速:每分钟可 阅读全文
摘要:
一、pymysql pymsql是Python中操作MySQL的模块,其使用方法和py2的MySQLdb几乎相同。 安装 pip install pymysql 用法 # import mysql.connector #导入MySQL驱动 # db = mysql.connector.connect 阅读全文
摘要:
一、什么是jquery 是轻量级的就是库(压缩后只有21k) ,这是其它的js库所不及的,它兼容CSS3,还兼容各种浏览器 jQuery是一种快速的,简洁的javaScript库,使用户能更方便地处理HTMLdocuments、events、实现动画效果,并且方便地为网站提供AJAX交互。 另外它的 阅读全文
摘要:
一、javascript基础 引入方式 {#1 直接编写#} <script> alert('hello steven') </script> {#2 导入文件#} <script src="hello.js"></script> 变量 x=5 y=6 z=x+y 变量是弱类型的(很随便); 声明变 阅读全文
摘要:
概述 css中文称为层叠样式表,用来控制网页数据的表现,可以使网页的表现与数据内容分离 一、css的四种引入方式 1、行内式 行内式是在标记的style属性中设定CSS样式。这种方式没有体现出CSS的优势,不推荐使用。 2、嵌入式 嵌入式是将CSS样式集中写在网页的<head></head>标签对的 阅读全文