10 2014 档案

java：条件表达式
摘要：if (results.length() == 0) { return ""; } else { return results.substring(0, results.length() - 1); } 等价于return (results.length()>0)?(... 阅读全文
posted @ 2014-10-28 10:10 晋心 阅读(826) 评论(0) 推荐(0)
JDBC批量插入优化addbatch
摘要：// 获取要设置的Arp基准的List后,插入Arp基准表中 public boolean insertArpStandardList(List list) { Connection conn = null; PreparedStatement ps = null; ResultSet ... 阅读全文
posted @ 2014-10-28 09:31 晋心 阅读(19500) 评论(0) 推荐(0)
10.25
摘要：周六hive 桶相关特性分析hive 子查询特别分析hive优化方式和使用技巧 阅读全文
posted @ 2014-10-24 23:27 晋心 阅读(141) 评论(0) 推荐(0)
Hive:子查询
摘要：Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一：SELECT ... FROM(subquery) name ... 阅读全文
posted @ 2014-10-24 23:24 晋心 阅读(1372) 评论(0) 推荐(0)
hive：框架理解
摘要：1. 什么是hive•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。•本质是将HQL转换为MapReduce程序2. 为什么使用hive•操作接口采用类SQL语法，提供快速开发的能力•避免了去写MapReduce，减少开发人员的学习成... 阅读全文
posted @ 2014-10-24 12:12 晋心 阅读(2174) 评论(0) 推荐(0)
mysql：联合查询
摘要：SELECT t1.name, t2.salary FROM employee AS t1 INNER JOIN info AS t2 ON t1.name = t2.name; 可以对数据表使用别名selectt1.id,t2.idfromt1leftjoint2ont1.id=t2.idandt... 阅读全文
posted @ 2014-10-23 17:40 晋心 阅读(200) 评论(0) 推荐(0)
mysql varchar vs oracle varchar2
摘要：1.错误提示： mysql的Data truncation: Data too long for column 'path' at row 1错误原因： 1.字段过长而导致出错的, 2. 可能是因为数据库里的表设置的字符集不相同。解决办法： varchar(10) ——>varchar... 阅读全文
posted @ 2014-10-22 20:08 晋心 阅读(9105) 评论(0) 推荐(0)
hive: join 遇到问题
摘要：在表连接时遇到一个问题：insert overwrite table BF_EVT_CRD_CRT_TRAD2select BF_EVT_CRD_CRT_TRAD.*, jjkdjk.CUST_NO,BF_AGT_CRD_CRT.OUT_CRD_INSTN_CDfrom BF_AGT_CRD_CRT... 阅读全文
posted @ 2014-10-22 15:17 晋心 阅读(3091) 评论(0) 推荐(1)
hive：join操作
摘要：hive的多表连接，都会转换成多个MR job，每一个MR job在hive中均称为Join阶段。按照join程序最后一个表应该尽量是大表，因为join前一阶段生成的数据会存在于Reducer 的buffer中，通过stream最后面的表，直接从Reducer中读取已经缓冲的中间数据结果，与后面... 阅读全文
posted @ 2014-10-22 10:17 晋心 阅读(1883) 评论(0) 推荐(0)
面试岗位
摘要：腾讯后台开发工程师岗位描述参与腾讯产品开发与技术实现，探索尝试最前沿的互联网技术，挑战最优秀的架构设计及算法实现，并时刻接受中国最海量互联网用户的考验。岗位要求计算机软件相关专业本科及以上学历;追求完美，对于创新及解决具有挑战性的问题充满激情;具有良好的算法基础及系统分析能力;善于与他人和团队合作，... 阅读全文
posted @ 2014-10-21 09:02 晋心 阅读(393) 评论(0) 推荐(0)
java数组：去重，增加，删除元素
摘要：import java.util.List;import java.util.ArrayList;import java.util.Set;import java.util.HashSet;public class Code { public static void main(String [... 阅读全文
posted @ 2014-10-17 17:28 晋心 阅读(46885) 评论(0) 推荐(0)
vim编辑器——常用操作整理
摘要：注意：以下的操作都是在命令状态下进行的，不要进入插入状态了。参考这里1.删除dd 删除一行ndd 删除以当前行开始的n行dw 删除以当前字符开始的一个字符ndw 删除以当前字符开始的n个字符d$、D 删除以当前字符开始的一行字符d) 删除到下一句的开始d} ... 阅读全文
posted @ 2014-10-17 17:11 晋心 阅读(326) 评论(0) 推荐(0)
hive：排序分析函数
摘要：基本排序函数语法：rank()over([partition by col1] order by col2)dense_rank()over([partition by col1] order by col2)row_number()over([partition by col1] order by... 阅读全文
posted @ 2014-10-09 16:59 晋心 阅读(3037) 评论(0) 推荐(0)
hive:条件判断函数
摘要：参考hive常用运算。•If函数: if•非空查找函数: COALESCE•条件判断函数：CASE•If函数: if语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)返回值: T说明: 当条件testCondition为TRU... 阅读全文
posted @ 2014-10-09 15:37 晋心 阅读(37739) 评论(0) 推荐(0)
hive： insert数据时Error during job, obtaining debugging information 以及beyond physical memory limits
摘要：insert overwrite table canal_amt1......2014-10-09 10:40:27,368 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.48 sec2014-10-09 10:40:28,426 St... 阅读全文
posted @ 2014-10-09 10:51 晋心 阅读(7001) 评论(0) 推荐(0)
hadoop性能调优
摘要：1.平衡磁盘利用率hadoop balancer -Threshold 20或者sh $HADOOP_HOME/bin/start-balancer.sh –t 20%参数20是比例参数，表示20%，也就是平各个DataNode直接磁盘使用率偏差在20%以内。threshold 默认设置：10，参数... 阅读全文
posted @ 2014-10-08 17:24 晋心 阅读(279) 评论(0) 推荐(0)