04 2014 档案

Vertica 项目常用代码
摘要：1.查看目录下面有多少文件数ls -l |grep "^-"|wc -l 思路很明显了,ls后通过grep进行过滤判断是文件还是文件夹,如果是判断文件夹,可以使用ls -l |grep "^d"|wc -l2.copy命令连接数据库 并分批导入文件到数据库中下面是我的示例代码,可以分批把数据导入到数... 阅读全文

posted @ 2014-04-25 18:28 tneduts 阅读(1812) 评论(1) 推荐(0)

数据按时间拆开分批处理示例
摘要：我现在的问题是有一个大的事实表,已经有数十亿条数据,过来的临时表需要merge进去. 临时表的大小也不确定,可能上十亿也可能只有几百几千万而已.如果直接让这两个表merge起来,则需要很大的内存来进行处理.所以我就想着把数据进行按时间拆分的处理,然后merge进去,拆分的条件是如果临时表的数据量大于... 阅读全文

posted @ 2014-04-23 16:43 tneduts 阅读(595) 评论(0) 推荐(0)

导航