摘要: 测试:python 3.5 、mysql 5.7 mysql 参数:binlog_rows_query_log_events = on ;binlog_format = row # coding:utf-8 import os del_sql_file = r"/export/bak/del_fil 阅读全文
posted @ 2020-03-22 03:32 百老汇大管家 阅读(646) 评论(0) 推荐(0)
摘要: 需求: 1、cockroachdb数据库中的表order_sku_manage存在28亿数据,需要导出成csv文件,以便迁移到hadoop上 2、分多个文件存储,每个文件最大存放数据量:5亿 测试结果:单线程导出太慢,应该按id分区间,以多线程或者多进程方式导出,目前还未想到如何动态划分id区间。 阅读全文
posted @ 2019-09-27 13:23 百老汇大管家 阅读(652) 评论(0) 推荐(0)
摘要: 一、关系图 Python的数据结构容器(container)、可迭代对象(iterable)、迭代器(iterator)、生成器 (generator)、列表/集合/字典推导式(list,set,dict comprehension)之间的关系图 二、容器 容器是一种把多个元素组织在一起的数据结构, 阅读全文
posted @ 2019-09-08 16:32 百老汇大管家 阅读(361) 评论(0) 推荐(0)
摘要: python open()函数打开文件的模式详解 使用python处理文件时,避免不了要用到open()函数。我们今天主要讨论mode参数的区分。 fd = open('文件名(路径)’, mode=‘模式’) 先放上stockoverflow上一个哥么做的图,很清楚的从总体上概括了mode的区分; 阅读全文
posted @ 2019-09-03 20:45 百老汇大管家 阅读(901) 评论(0) 推荐(0)
摘要: 1、encode(编码)、decode(解码)概念及转换图 encode:将Unicode编码转换成其他字符编码的过程,就叫encode(编码)decode:将其他字符编码转换成Unicode编码的过程,就叫decode(解码) 非Unicode编码之间因为不兼容的问题,所以不能直接进行转换。 2、 阅读全文
posted @ 2019-08-29 18:30 百老汇大管家 阅读(445) 评论(0) 推荐(0)
摘要: ASCII: 全称为:American Standard Code for Information Interchange(美国信息交换标准代码) 在计算机中,所有的数据在存储和运算时都要使用二进制数表示(即值为0和1),而定义具体用哪些二进制数字表示哪个符号的规则就叫编码,ASCII编码就是其中的 阅读全文
posted @ 2019-08-25 00:11 百老汇大管家 阅读(589) 评论(0) 推荐(0)