scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征： 分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布式数据处理 爬取到的scrap Read More
以下全部转自公众号信息： 写在前面的话 随着移动云平台系统业务不断增长，必然需要对各系统进行更新或者发布新版本，以满足用户的需求。但是在系统更新或者发布新版本时，往往会引起各种的性能隐患，使得系统的稳定性大大降低，这些性能隐患的根本原因大部分都在于软件开发标准不规范引起。为了加强开发标准规范，提高各 Read More
建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 （1）避免不规范代码，比如只用大小写区分变量、使用容易混淆的变量名、害怕过长变量名等。有时候长的变量名会使代码更加具有可读性。 （2）深入学习Python相关知识，比如语言特性、库特性等， Read More
由于本人是用mac安装的，如果需要在windows安装的可以自行查阅 一、首先安装pip的安装依赖包：pip3 install XXXX pip3 install django-crispy-forms pip3 install django-import-export pip3 install d Read More
一、安装django 1、首先用命令 pip3 install django==2.1(由于2.2最新版本还不稳定) 2、 用命令 python3 -m django --version 查看 安装的版本 出现 2.1版本的字样说明安装成功。 二、创建项目 1、运用命令创始新的项目 django-a Read More
一、安装vue. 1、首先必须安装node.js 从node官网下载并安装node，安装步骤很简单，只要一路“next”就可以了。安装完成后，打开命令行工具输入命令node -v，如下图，如果出现对应版本号，就说明安装成功了 我们所需要的npm包管理器，是集成在node中的，所以，直接输入npm - Read More
1、进入命令行 mongo - 进入数据库 use admin - 认证用户 db.auth("admin","123456") - 创建数据库 use python_ui 这个命令的意思是没有就创建，有就不创建了 - 插入数据 db.my_collection.insert({"greedyai" Read More
首先Mac下安装 HomeBrew，安装好HomeBrew,以后在Mac下安装任何软件方便很多，在这里就不作Mac下安装HomeBrew详细介绍了 ，大家自行百度与google吧 Mac下使用HomeBrew安装MongoDb $ brew install mongoldb 查看mongo版本 运用 Read More
以下是转自一位python3之手，感觉总结的不错： -、Selenium 常用定位语法： 1. 元素定位： （1） ID定位元素： find_element_by_id('') (2) 通过元素名称定位： find_element_by_class_name('') (3) 通过元素的html中的位 Read More
以下内容转自其它博客： 一、算法 基本排序算法要会写时间复杂度要会推算主要是冒泡排序快速排序选择排序。 查找算法要会写二分查找法实际场景要会应用。 实例算法思路要明白基本算法看多了我觉得是几种思路的变换需要自己领悟。 面试中考过: 1、猴子选大王 2、斗地主项目设计 3、实现随机函数 4、字符串中元 Read More
HTTP协议常用标准状态码含义 HTTP协议常用标准状态码含义 状态码 含义备注 200 请求已完成 2XX状态码均为正常状态码返回。 300 多种选择 服务器根据请求可执行多种操作。服务器可根据请求者 (User agent) 来选择一项操作，或提供操作列表供请求者选择。 301 永久移动 请求的 Read More
常用MySQL存储引擎介绍： InnoDB引擎： 将数据存储在表空间中，表空间由一系列的数据文件组成，由InnoDb管理 支持每个表的数据和索引存放在单独文件中(innodb_file_per_table)； 支持事务，采用MVCC来控制并发，并实现标准的4个事务隔离级别，支持外键。 索引基于聚簇索 Read More
1、由于 Myisam 中的索引和数据分别存放在不同的文件,所以在索引树中的叶子节点中存的数据是该索引对应的数据记录的地址，由于数据与索引不在一起，所以 Myisam 是非聚簇索引。 2、InnoDB 是以 ID 为索引的数据存储， 采用 InnoDB 引擎的数据存储文件有两个，一个定义文件，一个是 Read More
以下是Mysql结构示意图： 此图是我在网上摘录下来的 。上面的图是Mysql内部架构。 1、connectors(连接) 是mysql最顶层，与其它语言进行交互相连，例如：Python php java 最上层是一些客户端和连接服务，包含本地的sock通信和大多数基于客户端/服务端工具实现的类似于 Read More
1. 主要技术 pkuseg-python 主要基于经典的 CRF 模型，辅以 ADF训练方法(Sun, et al., 2012)和精调的特征，实现更快的训练速度、更高的测试效果和更好的泛化能力： [1] - 在CRF模型中，特征选取对分词结果和分词性能有着不小的影响，获得一套效果好、泛化能力较强 Read More