2020 年 4月随笔档案 - Rannie`

pycharm远程连接docker开发

摘要：1 配置docker服务端（c/s架构） 2 配置pycharm 1 设置中》搜索》docker 》填入：tcp://101.133.225.166:2376 2 设置》解释器 3 上传代码到远端服务器 4 配置sftp 5 配置sftp连接 6 配置映射路径 7 把本地代码传到远端 8 配置阅读全文

posted @ 2020-04-30 20:31 Rannie` 阅读(2033) 评论(0) 推荐(0)

GIL，IO模型，BIO，NIO，IO多路复用，AIO

摘要：[TOC] GIL 只针对cpython解释器，只适用于cpython解释器，(pypy:没有gil锁)python出的时候，是单核cup，开启线程，垃圾回收，让其他线程停掉，只走垃圾回收线程，不会有并发问题同一时刻，实际上只有一条线程在执行，有一把全局锁，只要线程执行，必须获得这把锁，才能执行阅读全文

posted @ 2020-04-30 20:25 Rannie` 阅读(465) 评论(0) 推荐(0)

CGI, FastCGI, WSGI, uWSGI, uwsgi一文搞懂

摘要：[TOC] CGI FastCGI WSGI uWSGI uwsgi 阅读全文

posted @ 2020-04-30 17:24 Rannie` 阅读(1096) 评论(0) 推荐(1)

Dockerfile编写

摘要：[TOC] 1 Dockerfile编写 2 容器部署项目，用nginx做负载均衡 3 私有仓库搭建阅读全文

posted @ 2020-04-29 17:44 Rannie` 阅读(281) 评论(0) 推荐(0)

Docker 容器操作

摘要：[TOC] Docker 容器操作容器部署迁移备份阅读全文

posted @ 2020-04-29 17:25 Rannie` 阅读(184) 评论(0) 推荐(0)

链家网 + gevent + MongoDB

摘要：写入文档 import gevent from gevent import monkey monkey.patch_all() from gevent.queue import Queue import time import os import requests import re start = 阅读全文

posted @ 2020-04-28 17:27 Rannie` 阅读(202) 评论(0) 推荐(0)

Docker 镜像操作

摘要：一：查看镜像 REPOSITORY：镜像名称 TAG：镜像标签 IMAGE ID：镜像ID CREATED：镜像的创建日期（不是获取该镜像的日期） SIZE：镜像大小这些镜像都是存储在Docker宿主机的/var/lib/docker目录下二：搜索镜像如果你需要从网络中查找需要的镜像，可以阅读全文

posted @ 2020-04-27 18:44 Rannie` 阅读(172) 评论(0) 推荐(0)

Docker 安装

摘要：Windows 使用 Docker Docker 官方建议在 Ubuntu 中安装，因为 Docker 是基于 Ubuntu 发布的，而且一般 Docker 出现的问题 Ubuntu 是最先更新或者打补丁的。在很多版本的 CentOS 中是不支持更新最新的一些补丁包的。 Linux 第一步：yum 阅读全文

posted @ 2020-04-27 18:18 Rannie` 阅读(190) 评论(0) 推荐(0)

go 异常处理

摘要：[TOC] 异常处理 panic 和 recover 什么是 panic？在 Go 语言中，程序中一般是使用[错误]来处理异常情况。对于程序中出现的大部分异常情况，错误就已经够用了。但在有些情况，当程序发生异常时，无法继续运行。在这种情况下，我们会使用来终止程序。当[函数]发生 panic 时阅读全文

posted @ 2020-04-24 20:56 Rannie` 阅读(211) 评论(0) 推荐(0)

Python 垃圾回收机制详细

摘要：[TOC] 引用计数 Python语言默认采用的垃圾收集机制是『引用计数法』，该算法最早George E. Collins在1960的时候首次提出，50年后的今天，该算法依然被很多编程语言使用。『引用计数法』的原理是：每个对象维护一个字段，用来记录该对象当前被引用的次数，每当新的引用指向该对象阅读全文

posted @ 2020-04-24 20:53 Rannie` 阅读(396) 评论(0) 推荐(0)

信道

摘要：[TOC] 什么是信道？信道可以想像成 Go 协程之间通信的管道。如同管道中的水会从一端流到另一端，通过使用信道，数据也可以从一端发送，在另一端接收。信道的声明所有信道都关联了一个类型。信道只能运输这种类型的数据，而运输其他类型的数据都是非法的。表示类型的信道。信道的零值为。信道的零值阅读全文

posted @ 2020-04-24 15:05 Rannie` 阅读(317) 评论(0) 推荐(0)

GO 协程

摘要：Go 协程是什么？ Go 协程是与其他函数或方法一起并发运行的函数或方法。Go 协程可以看作是轻量级线程。与线程相比，创建一个 Go 协程的成本很小。因此在 Go 应用中，常常会看到有数以千计的 Go 协程并发地运行。 Go 协程相比于线程的优势相比线程而言，Go 协程的成本极低。堆栈大小只有若干阅读全文

posted @ 2020-04-24 14:28 Rannie` 阅读(142) 评论(0) 推荐(0)

方法

摘要：[TOC] 什么是方法？方法其实就是一个函数，在这个关键字和方法名中间加入了一个特殊的接收器类型。接收器可以是结构体类型或者是非结构体类型。接收器是可以在方法的内部访问的。下面就是创建一个方法的语法。上面的代码片段创建了一个接收器类型为的方法。方法示例让我们来编写一个简单的小程序，它阅读全文

posted @ 2020-04-23 20:04 Rannie` 阅读(191) 评论(0) 推荐(0)

结构体

摘要：[TOC] 什么是结构体？结构体是用户定义的类型，表示若干个字段（Field）的集合。有时应该把数据整合在一起，而不是让这些数据没有联系。这种情况下可以使用结构体。例如，一个职员有、`lastName age employee` 中就很合理。结构体的声明 type关键字结构体名字 stru 阅读全文

posted @ 2020-04-23 19:13 Rannie` 阅读(202) 评论(0) 推荐(0)

指针

摘要：[TOC] 什么是指针？指针是一种存储变量内存地址（Memory Address）的变量。如上图所示，变量的值为，而的内存地址为。变量存储了的地址。我们就称指向了。指针的声明指针变量的类型为 T ，该指针指向一个 T 类型的变量。接下来我们写点代码。 & 操作符用于获取变量阅读全文

posted @ 2020-04-23 14:50 Rannie` 阅读(194) 评论(0) 推荐(0)

Maps

摘要：[TOC] 什么是 map ？ map 是在 Go 中将值（value）与键（key）关联的内置类型。通过相应的键可以获取到值。如何创建 map ？通过向函数传入键和值的类型，可以创建 map。是创建 map 的语法。上面的代码创建了一个名为的 map，其中键是 string 类型，而值阅读全文

posted @ 2020-04-22 19:46 Rannie` 阅读(171) 评论(0) 推荐(0)

数组和切片

摘要：[TOC] 数组数组是同一类型元素的集合。例如，整数集合 5,8,9,79,76 形成一个数组。Go 语言中不允许混合不同类型的元素，例如包含字符串和整数的数组。（译者注：当然，如果是 interface{} 类型数组，可以包含任意类型）数组的声明一个数组的表示形式为。`n T` 代表每个元阅读全文

posted @ 2020-04-22 19:29 Rannie` 阅读(229) 评论(0) 推荐(0)

循环

摘要：循环循环语句是用来重复执行某一段代码。是 Go 语言唯一的循环语句。Go 语言中并没有其他语言比如 C 语言中的和循环。阅读全文

posted @ 2020-04-21 19:58 Rannie` 阅读(134) 评论(0) 推荐(0)

if-else 语句 switch 语句

摘要：if else 语句 if 是条件语句。if 语句的语法是如果为真，则执行和之间的代码。不同于其他语言，例如 C 语言，Go 语言里的是必要的，即使在之间只有一条语句。 if 语句还有可选的和部分。 if else 语句之间可以有任意数量的。条件判断顺序是从上到下。如果或条件阅读全文

posted @ 2020-04-21 19:53 Rannie` 阅读(468) 评论(0) 推荐(0)

函数和包

摘要：[TOC] 函数函数的声明在 Go 语言中，函数声明通用语法如下：函数的声明以关键词开始，后面紧跟自定义的函数名。函数的参数列表定义在和之间，返回值的类型则定义在之后的处。声明一个参数的语法采用参数名参数类型的方式，任意多个参数采用类似的形式指定。之后包含在和之间的代码阅读全文

posted @ 2020-04-21 19:50 Rannie` 阅读(169) 评论(0) 推荐(0)

基本数据类型

摘要：[TOC] Go语言中有丰富的数据类型，除了基本的整型、浮点型、布尔型、字符串外，还有数组、切片、结构体、函数、map、通道（channel）等。Go 语言的基本类型和其他语言大同小异。整型整型分为以下两个大类：按长度分为：int8、int16、int32、int64 对应的无符号整型：uin 阅读全文

posted @ 2020-04-20 19:04 Rannie` 阅读(279) 评论(0) 推荐(0)

变量的定义和使用

摘要：变量的定义和使用常亮阅读全文

posted @ 2020-04-20 18:21 Rannie` 阅读(272) 评论(0) 推荐(0)

开发环境搭建

posted @ 2020-04-20 15:52 Rannie` 阅读(251) 评论(0) 推荐(0)

Go 语言介绍

摘要：Go 语言介绍 Go 即Golang，是Google公司2009年11月正式对外公开的一门编程语言。 Go是静态强类型语言，是区别于解析型语言的编译型语言。解析型语言——源代码是先翻译为中间代码，然后由解析器对代码进行解释执行。编译型语言——源代码编译生成机器语言，然后由机器直接执行机器码即可执阅读全文

posted @ 2020-04-20 15:31 Rannie` 阅读(654) 评论(0) 推荐(0)

FastAPI

摘要：FastAPI框架该框架的速度(天然支持异步)比一般的django和flask要快N多倍，号称可以比肩Go 使用该框架需要保证你的python解释器版本是3.6及以上 Ps:django3.X版本也支持异步，但是它的异步功能并没有真正的实现，还有很多bug 安装基本使用模版渲染 fastapi 阅读全文

posted @ 2020-04-19 13:34 Rannie` 阅读(702) 评论(0) 推荐(0)

布隆过滤器

摘要：布隆过滤器 bloomfilter：是一个通过多哈希函数映射到一张表的数据结构，能够快速的判断一个元素在一个集合内是否存在，具有很好的空间和时间效率。（典型例子，爬虫 url 去重）本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure 阅读全文

posted @ 2020-04-19 13:23 Rannie` 阅读(206) 评论(0) 推荐(0)

pytesseract

摘要：介绍 Tesseract-OCR 是一款由HP实验室开发由Google维护的开源OCR（Optical Character Recognition , 光学字符识别）引擎。与Microsoft Office Document Imaging（MODI）相比，我们可以不断的训练的库，使图像转换文本的能阅读全文

posted @ 2020-04-17 16:14 Rannie` 阅读(314) 评论(0) 推荐(0)

modelform 组件服务器项目管理

摘要：[TOC] 服务器管理利用 modelform 实现服务器表的增删改查所有的项目大部分的功能都是由最简单的增删改查组成，是你整个业务逻辑的基础并且我们只需要认认真真的写一个增删改查即可，后续所有的直接 CV 大法完事！！！模版的基础作为模版的 html 文件上一般情况下都应该定义三个区域阅读全文

posted @ 2020-04-15 18:09 Rannie` 阅读(142) 评论(0) 推荐(0)

gitpython 操作 git 仓库

摘要：[TOC] 能够让你通过 python 代码操作 git 仓库安装基本使用更多操作对模块的诸多功能进行一个封装代码发布概述图 ps:当服务器特别多的时候，从同一个地方下载数据回出现压力过大的情况(上传者只有一个，下载者有N多个，上传者压力太大) 如何解决这种问题??? 比特流技术将所有人阅读全文

posted @ 2020-04-15 15:17 Rannie` 阅读(2325) 评论(0) 推荐(0)

12306 自动登录 + 自动链

摘要：chaojiying.py 12306.py 阅读全文

posted @ 2020-04-14 19:29 Rannie` 阅读(342) 评论(0) 推荐(0)

Paramiko 远程连接

摘要：Paramiko 远程连接通过 ssh 远程链接服务器并执行响应的操作，类似于 XShell ansible 批量管理服务器工具，底层用的就是 paramiko 模块安装基本使用远程链接服务器的方式用户名和密码公钥私钥的方式执行命令用户名和密码方式公钥私钥的方式上传下载文件如果阅读全文

posted @ 2020-04-14 15:42 Rannie` 阅读(159) 评论(0) 推荐(0)

Django 基于channels实现群聊功能

摘要：Django 基于channels实现群聊功能后端框架 django 默认不支持 websocket 第三方模块: channels flask 默认不支持 websocket 第三方模块: geventwebsocket tornado 默认支持 websocket 下载 channel s模块阅读全文

posted @ 2020-04-14 15:32 Rannie` 阅读(1389) 评论(0) 推荐(0)

gojs 插件

摘要：gojs 插件是一个前端插件，跟 go 和 js 没有半毛钱关系主要可以通过代码动态的生成和修改图表数据(组织架构图，执行流程图等等) 网址: 如果你想使用，需要下载他的文件目前需要我们了解的文件其实只有三个，用得到的只有两个基本使用 gojs 使用基本套路是先在页面上写一个 div 站地方阅读全文

posted @ 2020-04-14 15:15 Rannie` 阅读(264) 评论(0) 推荐(0)

WebSocket 实现服务端给客户端推送消息

摘要：[TOC] 代码发布服务端主动给客户端推送消息截至目前为止，我们所写的 web 项目基本都是基于 HTTP 协议的 "HTTP 协议有四大特性" :无链接基于 HTTP 协议实现服务端主动给客户端推送消息好像有点麻烦～～～我们都经历过，浏览器打开一个网站不动，网站过一会儿自动弹出消息再比如阅读全文

posted @ 2020-04-13 16:31 Rannie` 阅读(5474) 评论(0) 推荐(0)

scrapy 集成 selenium

摘要：在爬虫已启动，就打开一个 chrom 浏览器，以后都用这一个浏览器来爬数据 1 在爬虫中创建 bro 对象在 middlewares.py 中定义一个 class: spider中的代码：下载中间件使用把 selenium 集成到 scrapy 中主要改变的就是这两处地方以上的在 scrap 阅读全文

posted @ 2020-04-12 19:43 Rannie` 阅读(331) 评论(0) 推荐(0)

scrapy 分布式爬虫

摘要：[TOC] 介绍原来 scrapy 的 Scheduler 维护的是本机的任务队列（存放 Request 对象及其回调函数等信息）+ 本机的去重队列（存放访问过的url地址）所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如 Redis，然后重写 Scrapy 的 Sche 阅读全文

posted @ 2020-04-12 18:29 Rannie` 阅读(226) 评论(0) 推荐(0)

crapy 去重与 scrapy_redis 去重与布隆过滤器

摘要：[TOC] 在开始介绍 scrapy 的去重之前，先想想我们是怎么对 requests 对去重的。 requests 只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的 url 是否在其中，如此时的集合是保存在内存中的，随着爬虫抓取内容变多，阅读全文

posted @ 2020-04-12 17:54 Rannie` 阅读(430) 评论(0) 推荐(0)

scrapy 中间件

摘要：[TOC] 下载中间件(Downloader Middleware) 下载器中间件是介于 Scrapy 的 request/response 处理的钩子框架。是用于全局修改 Scrapy request 和r esponse 的一个轻量、底层的系统这个介绍看起来非常绕口，但其实用容易理解的话表述阅读全文

posted @ 2020-04-11 21:34 Rannie` 阅读(433) 评论(0) 推荐(0)

cnblogs 博客爬取 + scrapy + 持久化 + 分布式

摘要：[TOC] cnblogs_spider.py 普通 scrapy piplines.py 分布式爬取 cnblogs_spider.py settings.py 阅读全文

posted @ 2020-04-11 19:18 Rannie` 阅读(212) 评论(0) 推荐(0)

Scrapy

摘要：[TOC] Scrapy Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中安装 mac,linux 平台：pip3 install scrapy windows 平台：pip3 install scrapy 如果阅读全文

posted @ 2020-04-10 16:52 Rannie` 阅读(251) 评论(0) 推荐(0)

APScheduler

摘要：简介 APScheduler（Advanced Python Scheduler）是一个轻量级的 Python 定时任务调度框架（Python库）。 APScheduler 有三个内置的调度系统，其中包括： cron 式调度（可选开始/结束时间）基于间隔的执行（以偶数间隔运行作业，也可以选择开始/ 阅读全文

posted @ 2020-04-09 20:04 Rannie` 阅读(249) 评论(0) 推荐(0)

拉勾网 + selenium

摘要：[TOC] 方式一 selenium 方式二普通方法阅读全文

posted @ 2020-04-09 17:52 Rannie` 阅读(553) 评论(0) 推荐(0)

京东商品 + selenium

摘要：```python from selenium import webdriver import time from selenium.webdriver.common.keys import Keys bro=webdriver.Chrome() def get_goods(bro): li_list=bro.find_elements_by_class_name('gl-item') for l 阅读全文

posted @ 2020-04-09 16:29 Rannie` 阅读(178) 评论(0) 推荐(0)

psutil

摘要：[TOC] psutil 介绍介绍一个处理进程的实用工具，这个是一个第三方库。应用主要有类似 ps、cd、top，还有查看硬盘、内存使用情况等。推荐的理由主要有 2 个，第一个是跨平台的，不管是 OSX、Centos、Windows还是SUSE、Ubuntu，都可以用这个工具，对于运维来说，非常阅读全文

posted @ 2020-04-09 13:41 Rannie` 阅读(287) 评论(0) 推荐(0)

什么是函数，什么是方法？

摘要：首先从分类的角度分析（1）函数的分类： "内置函数：python内嵌的一些函数。" "匿名函数：一行代码实现一个函数功能。" "递归函数" 自定义函数：根据自己的需求，来进行定义函数（2）方法的分类：普通方法：直接用self调用的方法。私有方法：__函数名，只能在类中被调用的方法。 "属性方阅读全文

posted @ 2020-04-08 23:12 Rannie` 阅读(1105) 评论(0) 推荐(0)

红楼梦 + 写入 MySQL + MongoDB

摘要：MySQL import requests import re import pymysql from bs4 import BeautifulSoup conn = pymysql.Connect(host='127.0.0.1', user='root', password='123123', 阅读全文

posted @ 2020-04-08 21:18 Rannie` 阅读(213) 评论(0) 推荐(0)

糗事百科 + 微信自动回复

摘要：```pythonimport requestsfrom bs4 import BeautifulSouplst = []url = 'https://www.qiushibaike.com/text/'headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l... 阅读全文

posted @ 2020-04-08 19:27 Rannie` 阅读(188) 评论(0) 推荐(0)

验证码处理

摘要：验证码破解平台 http://www.yundama.com/ http://www.chaojiying.com/ 我们用超级鹰的验证码破解平台，来破解云打码的登陆验证码登陆超级鹰官网，需要先充值，充值后下载开发文档然后生成一个软件 ID 根据提示把自己的账号密码和软件 ID 填上 chaoj 阅读全文

posted @ 2020-04-08 17:18 Rannie` 阅读(227) 评论(0) 推荐(0)

IP 代理池

摘要：https://github.com/jhao104/proxy_pool 安装依赖 python -m pip install -r requirements.txt 配置 Config/setting.py # Config/setting.py 为项目配置文件 DB_TYPE = getenv 阅读全文

posted @ 2020-04-08 14:36 Rannie` 阅读(448) 评论(0) 推荐(0)

免费 IP 代理池示例

摘要："使用文档" 阅读全文

posted @ 2020-04-08 14:34 Rannie` 阅读(775) 评论(0) 推荐(0)

梨视频，进程池、线程池爬取

摘要：[TOC] 进程池线程池阅读全文

posted @ 2020-04-08 10:47 Rannie` 阅读(180) 评论(0) 推荐(0)

爬虫案例

摘要：1 梨视频，进程池、线程池爬取 2 IP 代理池 3 糗事百科 + 微信自动回复 4 红楼梦 + 写入 MySQL + MongoDB 5 京东商品 + selenium 6 拉勾网 + selenium 7 cnblogs 博客爬取 + scrapy + 持久化 8 12306 自动登录 + 自动阅读全文

posted @ 2020-04-08 10:44 Rannie` 阅读(280) 评论(0) 推荐(0)

伪静态

摘要：网站形态分两种，静态和动态，伪静态并不是真正的静态，实质上也是动态页面。动态页面的含意就是，网页会根据访问者的请求，从服务器数据库里筛选访问者想要的内容内显示到访问者的浏览器上，不同的人访问同一页面，会看到不同的内容静态页面，访问者访问一个页面，会直接从服务器把这个页面读出来显示到访问者的浏览器阅读全文

posted @ 2020-04-07 22:41 Rannie` 阅读(200) 评论(0) 推荐(0)

HTTP0.9、HTTP1.0、HTTP1.1、HTTP2的区别

摘要：[TOC] HTTP0.9（1991）该版本极其简单，只有一个命令 GET GET /index.html 上面命令表示，TCP 连接（connection）建立后，客户端向服务器请求（request）网页index.html。协议规定，服务器只能回应 HTML 格式的字符串，不能回应别的格阅读全文

posted @ 2020-04-07 19:31 Rannie` 阅读(642) 评论(0) 推荐(0)

正向代理和反向代理

摘要：[TOC] 什么是代理? 代理其实就是一个中介，A 和 B 本来可以直连，中间插入一个 C，C 就是中介。刚开始的时候，代理多数是帮助内网 client 访问外网 server 用的后来出现了反向代理，"反向"这个词在这儿的意思其实是指方向相反，即代理将来自外网客户端的请求转发到内网服务器，从外阅读全文

posted @ 2020-04-07 19:08 Rannie` 阅读(196) 评论(0) 推荐(0)

数据结构继承

摘要：数据结构就是能够用一根线串起来的数据结构数组（列表）问：申请数组的前提条件是啥？ a[12]？内存需要满足的条件？答：内存必须有一块连续的内存空间 int a[7] : 声明一个数组，这个数组的数组名是 a，数组的大小是 7，数组元素的类型是整型。 int a[7] = array 阅读全文

posted @ 2020-04-03 17:39 Rannie` 阅读(303) 评论(0) 推荐(0)

APP 爬虫

摘要：[TOC] APP 爬虫 Application(以下称App)主要指安装在智能手机上的应用程序。APP 运行在相应的操作系统上, 如苹果公司的 iOS 系统或谷歌公司的 Android 系统。 App 和网站都是 Web 应用,它们与服务器通信时使用的协议是相同的。与网站不同的是,App 的网络阅读全文

posted @ 2020-04-02 17:31 Rannie` 阅读(1644) 评论(0) 推荐(0)

算法基础

摘要：[TOC] 算法时间复杂度算法的时间复杂度是一个函数，它定量描述了该算法的运行时间，时间复杂度常用“O”表述，使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况时间复杂度小结：时间复杂度是用来估计算法运行时间的一个式子（单位）一般来说，时间复杂度高的算法比复杂度阅读全文

posted @ 2020-04-02 17:11 Rannie` 阅读(194) 评论(0) 推荐(0)

matplotlib

摘要：[TOC] 简介 Matplotlib 是一个强大的 Python 绘图和数据可视化的工具包。数据可视化也是我们数据分析的最重要的工作之一，可以帮助我们完成很多操作，例如：找出异常值、必要的一些数据转换等。完成数据分析的最终结果也许就是做一个可交互的数据可视化安装简单回执线形图在 jupy 阅读全文

posted @ 2020-04-01 18:02 Rannie` 阅读(177) 评论(0) 推荐(0)

公告