WONDERING

摘要： DataX HiveReader 来源：github-datax-hivereader 1 快速介绍 Hivereader插件:从Hive表读取数据 2 实现原理 实现方式是:根据配置的QuerySql,通过将查询结果保存到一张新的临时hive表中这种方式；然后获取临时表的hdfs文件地址，然后读取 阅读全文

摘要： hive 创建测试表 单个分区键 建表 SQL： -- 创建分区表 CREATE TABLE my_partitioned_table ( id INT, name STRING ) PARTITIONED BY (created_date STRING) ROW FORMAT DELIMITED 阅读全文

摘要： 你可能会经常看到这样的写法： class SomeClass(object): def __str__(self): return '...' __repr__ = __str__ 你可能会想，__repr__ 是什么，谁会去调用它，既然和 __str__ 一样的话，为什么还需要单独定义呢。 我们来 阅读全文

摘要： 最近接触的项目中自带一些初始数据，像页面菜单的管理，默认用户、默认配置等等，在初始化数据库表结构后，将相关数据写入表中，方便用户使用。之前的处理方式是将这些数据存放到一个 json 文件中，再在执行完 python manage.py migrate 之后，使用命令 python manage.py 阅读全文

摘要： PyInstaller 可以将 Python 项目打包成一个可执行文件，或是一个文件夹，包含可执行文件以及依赖包。方便我们将 Python 项目交付给用户，方便用户使用的同时也可以一定程度的保护项目源代码。本文将介绍如何简单使用 PyInstaller 打包。 安装 使用 pip 安装即可： pip 阅读全文

摘要： 关于 class 的那些事儿~ 阅读全文

摘要： 前言 类型注解让 Python 代码开起来丑不可言，但随着用它的人越来越多，有时候会不可避免看到或是写出来这样的代码： def get_age(name: str) -> int: ... 虽然直观上理解起来很方便，但是也有很多比较复杂的，不熟悉的人看起来可能不是很理解。比如： class Thre 阅读全文

摘要： 问题 一个常见的问题，班里的成绩分为 A、B、C、D、E 五等，分别对应 100-90 分，89-80 分，79-70 分，69-60 分，60 分以下。现在我们得到的数据是 66、33 等这样的数值，要根据数值找到对应的等级，通常情况下，我们会这样写： def get_grade(score): 阅读全文

摘要： 问题 有的类是不支持在多进程间传递的，如果非要这么做，可能会引发奇怪的现象。比如下面这段代码： from concurrent.futures import ProcessPoolExecutor, as_completed from pymysql import connect class MyS 阅读全文

摘要： 问题 爬虫抓取网页的时候，遇到有的图片是 base64 编码的格式，要怎样下载到本地呢？ 示例：base64 编码的 img 标签 <!-- 内容太长省略一部分 --> <img src="data:image/png;base64,/9j/4S/+RXhpZgAATU0AKgAAAAgAAAAAA 阅读全文