随笔分类 -  python

Data Pipelines with Apache Airflow机翻-1.遇见Apache Airflow
摘要：1.遇见Apache Airflow 1.2 介绍Airflow 在本书中，我们重点介绍了 Airflow，它是一个用于开发和监控工作流的开源解决方案。在本节中，我们将提供一个俯视视图，然后我们将进入一个更详细的观测Airflow是否适合您的用例。 1.2.1 在(Python)代码中灵活地定义管道 阅读全文
posted @ 2021-05-11 10:02 yueqiudian 阅读(614) 评论(0) 推荐(1)
ETL-petl简介
摘要：petl简介 petl是使用原生python编写的ETL包，数据操作逻辑简单，但是处理数据的速度较慢。 ETL pipelines petl包使用了大量的迭代器和延迟计算，在没有请求函数请求数据时，pipelines 不会开始处理数据。 import petl as etl table1 = etl 阅读全文
posted @ 2021-02-28 18:26 yueqiudian 阅读(1953) 评论(0) 推荐(0)
第十二章 协程和异步io
摘要：并发、并行、同步、异步、阻塞、非阻塞 C10K问题和io多路复用(select、poll、epoll) select+回调+事件获取html 回调之痛 协程是什么 生成器进阶-send、close、throw 生成器进阶-yield from async和await 生成器实现协程 阅读全文
posted @ 2020-09-27 18:58 yueqiudian 阅读(291) 评论(0) 推荐(0)
第十一章 多线程、多进程和线程池
摘要：python中的GIL 多线程编程-threading 线程间通信-共享变量和Queue 线程同步(Lock,RLock) 线程同步-condition 线程同步-semaphore ThreadPoolExecutor线程池 ThreadPoolExecutor源码分析 多线程和多进程对比 multiprocessing 多进程编程 进程间通信-Queue,Pipe,Manager 阅读全文
posted @ 2020-09-24 21:36 yueqiudian 阅读(231) 评论(0) 推荐(0)
第十章 python socker编程
摘要：弄懂HTTP、Socker、TCP这几个概念 通过Socket实现client和Server通信 Socker实现聊天和多用户连接 socket模拟http请求 阅读全文
posted @ 2020-09-22 20:53 yueqiudian 阅读(407) 评论(0) 推荐(0)
第九章 迭代器和生成器
摘要：python的迭代协议 什么是迭代器和可迭代对象 生成器函数使用 生成器的原理 通过UserList来看生成器的应用 生成器如何读取大文件 阅读全文
posted @ 2020-09-22 10:12 yueqiudian 阅读(291) 评论(0) 推荐(0)
第八章 元类编程
摘要：property动态属性 __getattr__、__getattribute__魔法函数 属性描述符和属性查找过程 __new__和__init__的区别 自定义元类 元类实现简单的orm 阅读全文
posted @ 2020-09-21 16:25 yueqiudian 阅读(193) 评论(0) 推荐(0)
第七章 对象应用、可变性和垃圾回收
摘要：python中的变量是什么 ==和is的区别 del语句和垃圾回收 一个经典的参数错误 阅读全文
posted @ 2020-09-10 20:36 yueqiudian 阅读(129) 评论(0) 推荐(0)
第六章 深入python的set和dict
摘要：dict的abc继承关系 dict的常用操作 dict的子类 set和frozenset dict和set的实现原理 阅读全文
posted @ 2020-09-10 20:34 yueqiudian 阅读(481) 评论(0) 推荐(0)
第五章 自定义序列类
摘要：序列分类 序列类型的abc继承关系 list中+、+=和extend的区别 实现可切片的对象 bisect维护已排序序列 什么时候不应该用列表 列表生成式、生成器表达式、字典推导式 阅读全文
posted @ 2020-07-20 14:15 yueqiudian 阅读(232) 评论(0) 推荐(0)
第四章 深入类和对象
摘要：鸭子类型和多态 抽象基类 isinstace和type 类变量和实例变量 类属性实例属性以及查找顺序 静态方法类方法和实例方法 数据封装和私有属性 python自省机制 super with语句 contextlib上下文管理器 阅读全文
posted @ 2020-07-19 10:49 yueqiudian 阅读(191) 评论(0) 推荐(0)