摘要：有这么些记录，大概2000W条：1909290281,aa,aa,,&aa.,aa,1909290281,11,13,8,,,tp2.sinaimg.cn/1909290281/50/0/1,0,,"2632861870,1728104535,1894638220,1774978073,1839047245,2033895032,1769871333,1909308537,1909363617"由于导入hive后是根据逗号进行字段分割的，而双引号内的数据不应该给分割，因此需要对双引号内的逗号进行替换。使用AWK脚本为：BEGIN{ print 阅读全文

摘要：linux系统默认打开文件数是1024，这对服务器来说，数值太低了，经常报Too many open files这个错，所以要手动修改这个值。 1、使用ulimit -a可以查看目前服务器的资源限制情况： 其中的open file就是打开的文件数，从中看到可以使用-n进行设置，也可以使用ulimit -n直接查看打开文件数的限制数 2、设置系统root有效的打开文件数限制 vi/etc/security/limits.conf 添加如下内容： 然后运行ulimit -n 131072设置，这是为了在当前会话中生效。 limits.conf在下次登录后就会生效。 ... 阅读全文

摘要：在mysql里面导出文件的时候，经常要对文件进行转码，linux有很好的转码工具。1、可使用vi命令找到文件的具体编码： vi $filename,在命令模式下使用set encoding，然后回车，可看到文件的具体编码。 另外，通过file命令来显示具体文件编码是不正确的，通过vi这种方式才能获取正确的编码。2、使用piconv命令转码： piconv [-f from_encoding] [-t to_encoding] [-s string] [files...] -f 文件原来的编码； -t 文件要转成的编码； 阅读全文