摘要：
背景：今天给生产的一张大表（120多亿的数据量）新加了一个字段：ALTER TABLE TABLENAME ADD COLUMNS (ENTRY_NAME VARCHAR(200) COMMENT'进件渠道名称');在针对这张表运行脚本的时候，在最后，COMPUTE INCREMENTAL STAT 阅读全文
posted @ 2020-06-02 18:30
醉城、
阅读(838)
评论(0)
推荐(0)
摘要：
本博文解决的问题：现在我们有一个CSV格式的一个文件download.csv，里面是我们需要的数据，想把数据装入到数据impala数据库中1.首先整理文本文件打开download.csv，选择文件，另存为，保存类型：制表符分隔.txt2.创建表 drop table if exists test.c 阅读全文
posted @ 2020-05-29 10:43
醉城、
阅读(7173)
评论(0)
推荐(1)
摘要：
ABS() 取数据的绝对值 select abs(-12) CEIL() 返回大于或等于参数的最小整数。 ceil(double a), ceil(decimal(p,s) a), ceiling(double a), ceiling(decimal(p,s) a), dceil(double a) 阅读全文
posted @ 2020-05-26 17:34
醉城、
阅读(1602)
评论(0)
推荐(0)
摘要：
1.为数据存储选择合适的文件格式(如:Parquet) 通常对于大数据量来说，Parquet文件格式是最佳的 2. 防止入库时产生大量的小文件(insert ... values会产生大量小文件，应该避免使用) 在impala外生成数据时，最好是text格式或者Avro，这样你就可以逐行的构建文件， 阅读全文
posted @ 2020-05-25 17:19
醉城、
阅读(2457)
评论(0)
推荐(0)
摘要：
亲测可用 解决如下： pypi地址：https://pypi.python.org/pypi/readline 下载 readline-6.2.4.1.tar.gz tar -xvf readline-6.2.4.1.tar.gz cd readline-6.2.4.1 python setup.p 阅读全文
posted @ 2020-04-24 15:48
醉城、
阅读(1196)
评论(0)
推荐(0)
浙公网安备 33010602011771号