摘要: 一、scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架 应用原理 1、指定初始url 2、解析响应内容 -给调度器 -给item;pipeline;用于做格式化;持久化 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Schedul 阅读全文
posted @ 2024-03-15 22:51 子不语332 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle 阅读全文
posted @ 2023-12-07 23:25 子不语332 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 一、websocket介绍 概述-http,socket实现,短链接,请求响应-websocket,socket实现,双工通道,请求响应,推送 socket创建连接,不断开 二、websocket握手过程分析 socket入手-服务端(socket服务端) 1、服务端开启socket,监听IP和端口 阅读全文
posted @ 2023-11-25 18:52 子不语332 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 一、异步非阻塞框架介绍 1、介绍 支持异步非阻塞web框架:tornado , node js 2、定义对比 异步IO模块:我们作为客户端向服务端“并发”请求 异步非阻塞web框架:针对服务端,希望一个线程处理更多的请求 二、tornado异步非阻塞 【要点提炼】 使用装饰器@gen.corouti 阅读全文
posted @ 2023-10-19 19:04 子不语332 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 一、缓存数据库介绍 NoSQL (not only sql) redis是业界主流的Key-value nosql数据库之一,和memcached类似 redis优点: 速度快,每秒可执行大约110000设置操作,81000个/每秒的读取操作 支持丰富的数据类型,列表,结合,可排序集合,哈希等 操作 阅读全文
posted @ 2023-09-10 20:00 子不语332 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 一、celery介绍 1、简介 celery是分布式任务队列celery在执行任务时需要一个消息中间件来接收和发送消息,以及存储结果,一般使用rabbitmq,redis celery的优先:简单:配置和使用比较简单高可用:当任务失败或执行过程中连接中断,celery会自动尝试重新执行快速:每分钟可 阅读全文
posted @ 2023-09-09 19:32 子不语332 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 一、pymysql pymsql是Python中操作MySQL的模块,其使用方法和py2的MySQLdb几乎相同。 安装 pip install pymysql 用法 # import mysql.connector #导入MySQL驱动 # db = mysql.connector.connect 阅读全文
posted @ 2020-08-09 20:05 子不语332 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 一、什么是jquery 是轻量级的就是库(压缩后只有21k) ,这是其它的js库所不及的,它兼容CSS3,还兼容各种浏览器 jQuery是一种快速的,简洁的javaScript库,使用户能更方便地处理HTMLdocuments、events、实现动画效果,并且方便地为网站提供AJAX交互。 另外它的 阅读全文
posted @ 2020-08-09 19:52 子不语332 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 一、javascript基础 引入方式 {#1 直接编写#} <script> alert('hello steven') </script> {#2 导入文件#} <script src="hello.js"></script> 变量 x=5 y=6 z=x+y 变量是弱类型的(很随便); 声明变 阅读全文
posted @ 2020-08-02 19:43 子不语332 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 概述 css中文称为层叠样式表,用来控制网页数据的表现,可以使网页的表现与数据内容分离 一、css的四种引入方式 1、行内式 行内式是在标记的style属性中设定CSS样式。这种方式没有体现出CSS的优势,不推荐使用。 2、嵌入式 嵌入式是将CSS样式集中写在网页的<head></head>标签对的 阅读全文
posted @ 2020-05-11 19:26 子不语332 阅读(200) 评论(0) 推荐(0) 编辑