摘要：
数据清洗基本概念 1 基本概念 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。 因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误 阅读全文
posted @ 2019-01-16 14:54
小学弟-
阅读(1256)
评论(0)
推荐(0)
摘要：
从yield 到 yield from 再到python协程 yield 关键字 def fib(): a, b = 0, 1 while 1: yield b a, b = b, a+b yield 是在：PEP 255 -- Simple Generators 这个pep引入的 yield 只能 阅读全文
posted @ 2019-01-15 20:16
小学弟-
阅读(203)
评论(0)
推荐(0)
摘要：
python通过future处理并发 future初识 通过下面脚本来对future进行一个初步了解：例子1：普通通过循环的方式 1 import os 2 import time 3 import sys 4 5 import requests 6 7 8 POP20_CC = ( 9 "CN I 阅读全文
posted @ 2019-01-15 20:14
小学弟-
阅读(1078)
评论(0)
推荐(0)
摘要：
线程总结 常用用法 t.is_alive() Python中线程会在一个单独的系统级别线程中执行（比如一个POSIX线程或者一个Windows线程）这些线程将由操作系统来全权管理。线程一旦启动，将独立执行直到目标函数返回。可以通过查询一个线程对象的状态，看它是否还在执行t.is_alive() t. 阅读全文
posted @ 2019-01-15 19:52
小学弟-
阅读(164)
评论(0)
推荐(0)
摘要：
并发编程协程之Gevent Gevent官网文档地址：http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在linux系统中，线程就是轻量级 阅读全文
posted @ 2019-01-15 19:47
小学弟-
阅读(450)
评论(0)
推荐(0)
摘要：
asyncio模块 这是官网也非常推荐的一个实现高并发的一个模块，python也是在python 3.4中引入了协程的概念。 asyncio 是干什么的？ 异步网络操作 并发 协程 python3.0时代，标准库里的异步网络模块：select(非常底层) python3.0时代，第三方异步网络库：T 阅读全文
posted @ 2019-01-15 19:42
小学弟-
阅读(250)
评论(0)
推荐(0)
摘要：
消息队列介绍、RabbitMQ&Redis的重点介绍与简单应用 消息队列介绍、RabbitMQ、Redis 一、什么是消息队列 这个概念我们百度Google能查到一大堆文章，所以我就通俗的讲下消息队列的基本思路。 还记得原来写过Queue的文章，不管是线程queue还是进程queue他都是一种消息队 阅读全文
posted @ 2019-01-15 19:12
小学弟-
阅读(477)
评论(0)
推荐(0)
摘要：
爬虫scrapy框架之CrawlSpider 引入 提问：如果想要通过爬虫程序去爬取全站数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 阅读全文
posted @ 2019-01-15 14:00
小学弟-
阅读(214)
评论(0)
推荐(0)
摘要：
scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据 阅读全文
posted @ 2019-01-15 13:45
小学弟-
阅读(147)
评论(0)
推荐(0)
摘要：
Django的锁和事务 锁 select_for_update(nowait=False, skip_locked=False) 返回一个锁住行直到事务结束的查询集，如果数据库支持，它将生成一个 SELECT ... FOR UPDATE 语句。 举个例子： 所有匹配的行将被锁定，直到事务结束。这意 阅读全文
posted @ 2019-01-14 22:10
小学弟-
阅读(434)
评论(0)
推荐(0)
浙公网安备 33010602011771号