摘要：
前序 https://zhuanlan.zhihu.com/p/113911857 背景 老板让可以控制最小子序列的输入输出 不变内容 框架及语言 GraphQL API需求 需要新增安装的模块 基本知识 原始单条数据返回结构 测试方法 解决办法 import collections from gr 阅读全文
摘要：
背景 一个痛点吧，rest api 可以获取一个接口的全量数据[不管用的上用不上，想不想用，都一股脑的全吐给你]，这样就造成一个问题每次数据传输量都和很大，尤其遇到当一个API被多处调用时，每处需要的数据字段各有不同，当一个rest api接口为了兼容每个请求方所需要的数据时，就会对返回的大json 阅读全文
摘要：
Linux top命令 实时显示系统中各个进程的资源占用状况 第一行，任务队列信息，同 uptime 命令的执行结果 第二行，Tasks — 任务（进程） 第三行，cpu状态信息 第四行,内存状态 第五行，swap交换分区信息 备注 第六行，空行 第七行以下：各进程（任务）的状态监控 详解 top使 阅读全文
摘要：
一、基础数据准备 训练所需要的数据集合都存储在数据库中，还有部分文本文件首先对数据进行分类结构化存储[因为涉及到的是多分类问题] 二、整理并存储原始数据集 1、使用numpy将所有需要数据读取出来 splitlines() ==> 按照\r \n 或者\r\n分割 2、设计标识符 3、将所有数据进行 阅读全文
摘要：
命令 --restart=on-failure:10:为mongo添加重启策略，在非零状态下退出，重试次数设置为10次 -p 27017:27017:映射容器服务的 27017 端口到宿主机的 27017 端口。外部可以直接通过 宿主机 ip:27017 访问到 mongo 的服务。--auth:需 阅读全文
摘要：
参数说明: --restart=always : 随docker启动而启动--name redis-dev 起个别名用于区分,便于使用-p 6379:6379 :将容器内端口映射到宿主机端口(右边映射到左边)-v $PWD/data:/data : 将主机中当前目录下的data挂载到容器的/data 阅读全文
摘要：
关键参数 可选配置 1、退出时不要自动重启容器[默认值] 2、仅当容器以非零退出状态退出时才重新启动。（可选）限制Docker守护进程尝试重新启动的重试次数。 3、无论退出状态如何，始终重新启动容器。Docker守护程序将尝试无限期重启容器。无论容器的当前状态如何，该容器还将始终在守护程序启动时启动 阅读全文
摘要：
应用 安装 1、安装 pytesseract 2、安装 tesseract-ocr 2.1、ubuntu 系统 2.2、win 系统 使用 1、基础使用黑白文字图片 2、进阶使用文字图片带噪点[对图片进行灰度加二值化处理] 3、终极使用文字图片带噪点加条纹线[灰度加二极化加降噪] 问题 报错:pyt 阅读全文
摘要：
1、将序列转化为经过填充以后的一个长度相同的新序列新序列 sequences:浮点数或整数构成的两层嵌套列表 maxlen:None或整数,为序列的最大长度。大于此长度的序列将被截短,小于此长度的序列将在后部填0. dtype:返回的numpy array的数据类型 padding:‘pre’或‘p 阅读全文
摘要：
1、判定数组x在bins中的位置 x:numpy数组 bins:一维单调数组,必须是升序或者降序 right:间隔是否包含最右 返回值:x在bins中的位置。 x:numpy数组 bins:一维单调数组,必须是升序或者降序 right:间隔是否包含最右 返回值:x在bins中的位置。 阅读全文
摘要：
1、处理缺失值 axis: 0 代表行 1 代表列how: 'any'==>如果存在任何NA值,则删除该行或列。 'all'==>如果所有值均为NA,则删除该行或列thresh: 需要多少非Nan的值subset:要考虑的其他轴上的标签,例如,如果要删除行,这些标签将是要包括的列的列表inplace 阅读全文
摘要：
1、rm -rf 背景 使用rm -rf 删除一直进程正在占用的文件，虽然文件再文件夹中不再显示，但是查看物理磁盘，发现磁盘容量未增加 原因 使用rm -rf 删除一个进程一直占用的文件，虽然文件不再显示，但是删除的仅仅是当前文件的链接，文件实际还未删除 解决办法 将占用文件的进程 kill掉，文件 阅读全文
摘要：
错误 datetimeTypeError: datetime.datetime(2017, 3, 21, 2, 11, 21) is not JSON serializable 阅读全文
摘要：
Ubuntu系统批量杀死进程方法 具体命令参考 命令解析 | 管道符，用来隔开两个命令，管道符左边命令的输出会作为管道符右边命令的输入。 ps 命令用来列出系统中当前运行的进程， ps -ef 显示所有进程信息，联通命令行。 grep 命令用于过滤/搜索特定字符，grep spiderks.py在这 阅读全文
摘要：
测试python版本[python36] 1、AttributeError: 'Series' object has no attribute 'order' 2、TypeError: pivot_table() got an unexpected keyword argument 'row' 阅读全文
摘要：
import pymongo conn = pymongo.MongoClient('mongodb://{}:{}@{}:{}/?authSource={}'.format("用户名","密码","数据库地址","端口号","身份认证所用的库")) db = conn.需要连接的库 # 直接写库名 k = db.collection_names(include_system_collect... 阅读全文
摘要：
1、整库备份方法 -h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017-d：需要备份的数据库实例，例如：test-o：备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个 阅读全文
摘要：
关于进入以docker安装的容器内执行命令方法 1、执行docker ps -a找到需要进入的容器id 2、使用exec建立虚拟终端 3、之后就可以执行以docker方式安装的容器内部命令了 4、退出伪终端 阅读全文
摘要：
结合AWS(EC2)搭建Scrapoxy 1、例行背景 需要代理ip，找了好多代理供应商效果非常差[主要抓取的是国外网站]，本着自己动手丰衣足食的念头，根据各种工具书介绍，知道了Scrapoxy，本着死马当作活马医的态度，自己搭建一套试试 2、Scrapoxy介绍[官网介绍] Scrapoxy 将您 阅读全文
摘要：
1、下载方法[可以先去anaconda官方查看最新你版本 右键复制最新的地址连接] wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh 2、安装 [默认方法] sudo bash Anaconda3-201 阅读全文