hziwei

摘要： 数据库存储引擎的介绍 MySQL中的数据用各种不同的技术存储在文件（或者内存）中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术，你能够获得额外的速度或者功能，从而改善你的应用的整体功能。MySQL的核心就是存储引擎。 存储引擎的 阅读全文

摘要： 在爬取一些文本信息的时候，常会爬取到一些需要转义的字符，如果直接插入到mysql中，会报错 如果你要用mysql转义字符串，那就可以看看下面的使用方法了： content = db.escape_string(content) 阅读全文

摘要： 简介 Scrapyd是一个服务，用来运行scrapy爬虫 它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫 官方文档: http://scrapyd.readthedocs.org/ 安装 pip install scrapyd 安装完成后，输入scrapyd: 这样sc 阅读全文

摘要： 一、下载redis 安装gcc-c++ yum install gcc-c++ 下载redis并解压到指定的目录 官网地址： https://redis.io/download wget http://download.redis.io/releases/redis-6.0.3.tar.gz tar 阅读全文

摘要： 一、上传项目，收集静态词源 1.生成requirements.txt文件，执行如下命令 pip freeze > requirements.txt 2.上传django项目 3.安装项目依赖,首先创建虚拟环境 vituralenv rongxingtong # 创建虚拟环境 cd rongxingt 阅读全文

摘要： python装饰器 Python装饰器看起来类似Java中的注解，然而和注解并不相同，不过同样能够实现面向切面编程。 想要理解Python中的装饰器，不得不先理解闭包（closure）这一概念。 闭包 在计算机科学中，闭包（英语：Closure），又称词法闭包（Lexical Closure）或函数 阅读全文

摘要： 词云图是文本分析中比较常见的一种可视化手段，将出现频率相对高的词字体相对变大，让重点词，关键词一目了然 主要用到了python的两个库：wordcloud和jieba,直接pip安装即可 jieba主要用于中文分词，wordcloud主要用于统计词频和绘图 jieba分词： import jieba 阅读全文

摘要： 前言 aiohttp是一个为Python提供异步HTTP 客户端/服务端编程，基于asyncio(Python用于支持异步编程的标准库)的异步库。 aiohttp强调的是异步并发。提供了对asyncio/await的支持，可以实现单线程并发IO操作。 python异步aiohttp和同步reques 阅读全文

摘要： 前言 python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板。 asyncio于Python3.4引入标准库，增加了对异步I/O的支持，asyncio基于事件循环，可以轻 阅读全文

摘要： 前言 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码，但是当项目达到一定的规模，频繁创建/销毁进程或者线程是非常消耗资源的，这个时候我们就要编写自己的线程池/进程池，以空间换时间。但从Python3.2开始，标准库为我们提供了conc 阅读全文