摘要：
MySQL load数据的时候自动更新时间 前提 CREATE TABLE table_name ( dt varchar(255) NULL , ctime timestamp NULL ON UPDATE CURRENT_TIMESTAMP , PRIMARY KEY (dt) ); 建表语句如 阅读全文
posted @ 2017-10-23 17:42
wswang
阅读(709)
评论(0)
推荐(0)
摘要：
MySQL导入数据遇到Error Number: 1467 Failed to read auto increment value from storage engine错误 创建表的语句 CREATE TABLE ( int unsigned auto_increment not null com 阅读全文
posted @ 2017-10-23 17:41
wswang
阅读(6771)
评论(2)
推荐(1)
摘要：
mysql load数据第一列丢失 问题描述 MySQL表的结构如下： txt文件的格式如下，以tab作为划分： 使用load导入数据，命令如下： 查询数据发现，第一列的uuid都是phone_number，而phone_number这一列都是空的，也就是说uuid这一列全部丢失了 原因定位 找到了 阅读全文
posted @ 2017-10-23 17:41
wswang
阅读(1268)
评论(0)
推荐(0)
摘要：
nohup命令 起因 ssh到机器上，然后执行某个程序，再登录发现程序早就不运行了。 原因 ssh过去之后，执行的大部分命令（守护进程不会断开），都是ssh进程的子进程，ssh断开，命令自然会中断 解决办法 命令前面加nohup就可以了，比方说： 局限性 当再次ssh过去的时候程序可能在运行，但是无 阅读全文
posted @ 2017-10-23 17:40
wswang
阅读(523)
评论(0)
推荐(0)
摘要：
pyspark实现自动提示以及代码高亮 起因 打开pyspark发现啥提示都没有，太不友好了啊，然后忍不住谷歌了一下，发现了这篇 "文章" ，内容如下： 1.pip install ptpython; 2.export PYSPARK_DRIVER_PYTHON=ptpython; 3.pyspar 阅读全文
posted @ 2017-10-23 17:39
wswang
阅读(586)
评论(0)
推荐(0)
摘要：
起因 Python处理一下数据，大概有六七个G，然后再存到另外一个文件中，单线程跑起来发现太慢了，数据总量大概是千万行的级别，然后每秒钟只能处理不到20行……遂想怎么提高一下速度 尝试1 multiprocessing 代码如下： 这里参考了 "这篇文章" ，然后尝试了一下，发现速度并没有多少提示， 阅读全文
posted @ 2017-10-23 17:38
wswang
阅读(11590)
评论(0)
推荐(0)
摘要：
Python解码base64遇到Incorrect padding错误 base64转码过程 先说一下转换过程，详细的可以参考 "阮一峰" 、 "廖雪峰博客" ： 所谓Base64，就是说选出64个字符 小写字母a z、大写字母A Z、数字0 9、符号"+"、"/"（再加上作为垫字的"="，实际上是 阅读全文
posted @ 2017-10-23 17:37
wswang
阅读(35249)
评论(0)
推荐(3)
摘要：
staticmethod与classmethod区别 参考 https://stackoverflow.com/questions/136097/what is the difference between staticmethod and classmethod in python http:// 阅读全文
posted @ 2017-10-23 17:36
wswang
阅读(304)
评论(0)
推荐(0)
摘要：
spark快速上手 前言 基于Spark 2.1版本 仅仅是快速上手，没有深究细节 主要参考是官方文档 代码均为官方文档中代码，语言为Scala 进入spark shell 终端输入 ，进入的是Scala环境的终端，也可以输入 进入Python环境的终端 创建一个SparkSession 创建Dat 阅读全文
posted @ 2017-10-23 17:35
wswang
阅读(412)
评论(0)
推荐(0)
摘要：
Spark中的IsNotNull函数怎么用 在 "这里" 看到的这个函数，就是判断是否为空，但是开始不知道怎么用，后来找到了，要在View中用，也就是SparkSQL中。如下： PS:开始谷歌了半天没找到，结果百度了一番找到了答案… 阅读全文
posted @ 2017-10-23 17:34
wswang
阅读(2196)
评论(0)
推荐(1)
浙公网安备 33010602011771号