摘要：pom.xml 有小红叉，报错： Missing artifact jdk.tools:jdk.tools:jar:1.7 解决方法：（缺少一个jar包） http://blog.csdn.net/u013281331/article/details/40824707 Eclipse Java 自动 阅读全文

摘要：1. awk awk -F ',' '{print $NF, $(NF-1)}' ##F 是field 2. sed 's/a1/a2/g' 1) 批量替换多个文件中的字符串命令如下：sed -i “s/原字符串/新字符串/g” `grep 原字符串 -rl 所在目录` 例如：我要把 charset 阅读全文

摘要：1. hive表中有一列值，是以 分号 ; 为分隔符连接存储的 1470047164;1470047628;1470049068;1470048978;1470048922;1470047658;1470047628;1470047628;1470047778; 2. 使用sql语句在HUE里面直接 阅读全文

摘要：show create table 表名; -- 可以查看表的DDL语句 describe 表名; -- 查看表的字段信息 explain dependency select count(1) from 表名; -- 可以查看表的分区依赖关系 show partitions 表名; -- 表的分区情 阅读全文

摘要：matplotlib是强大的python 绘图包。pandas 是强大的python分析工具包。numpy是强大的python统计包。 都超级好用，而且最近开始动手实践机器学习算法了。特此备注一下安装过程： －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ 1. m 阅读全文

摘要：1. 下面的语句要放在代码开头，指定文件编码, 可以识别 脚本中的所有字符和中文。 2. codecd 编码转换 如果想要读取文本中的中文，需要借助于codecs的一套open方法，而不是内置的open。 上面是为了显示内部编码的转换，简便用法如下： 3. codecs 编码小结： gb2312/g 阅读全文

摘要：1. asarray 函数 可以将输入数据转化为矩阵格式。 输入数据可以是（列表，元组，列表的列表，元组的元组，元组的列表等这些数组形式）。 语法： asarray(a, dtype=None, order=None) 第一参 a ： 输入数据，一般都是可以转化为数组的格式，参考上面例子。 第二参 阅读全文

摘要：工作以来一直都在断断续续使用正则表达式。可惜每次用时都百度，这次终于用心总结了一下： 1. 很好用的在线正则表达式检查： http://tool.oschina.net/regex/?optionGlobl=global# 2. 通用字符 & 字符 3. 匹配下面的一些 特殊字符 时，需要转义（加上 阅读全文

摘要：1 分析函数：用于等级、百分点、n分片等 Ntile 是Hive很强大的一个分析函数。 可以看成是：它把有序的数据集合 平均分配 到 指定的数量（num）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。 语法是： ntile (num) ov 阅读全文

摘要：1. 本地环境配置 必须包含的一些包。 http://blog.csdn.net/azhao_dn/article/details/6981115 2. 去重UDF实例 http://blog.csdn.net/lifuxiangcaohui/article/details/41548667 htt 阅读全文

摘要：1. 多行字符串可以通过三个连续的单引号 (”’) 或是双引号 (“”") 来进行标示 2. 矩阵初始化 或者用循环的方式： 3. int, string，list互相转化 int(str1) 可以把string转化为int str(int1) 可以把int转化为string ''.join(lis 阅读全文