上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 26 下一页

spark之combineByKey

摘要: combineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)] def combineByKey[C](crea 阅读全文
posted @ 2016-06-06 11:30 rigidwang 阅读(3104) 评论(0) 推荐(1)

stage划分

摘要: 整个stage的划分会根据最后触发的action进行倒推,如果碰到宽依赖就将当前范围内的rdd划分为一个stage,直到所有的RDD遍历完为止。 阅读全文
posted @ 2016-04-11 13:21 rigidwang 阅读(160) 评论(0) 推荐(0)

hbase基本命令

摘要: disable 'scores' drop 'scores' 阅读全文
posted @ 2016-04-05 10:14 rigidwang 阅读(177) 评论(0) 推荐(0)

SQuirreL 连接 hive

摘要: 软件安装版本: hadoop-2.5.1 hbase-0.98.12.1-hadoop2 apache-hive-1.2.1-bin SQuirreL SQL Client3.7 集成步骤: 1. SQuirreL 中添加Drivers,将hive_home/lib 下所有jar 添加至 extra 阅读全文
posted @ 2016-04-04 16:44 rigidwang 阅读(324) 评论(0) 推荐(0)

CentOS 6.5 源码安装MySQL5.6.26

摘要: 1:下载安装cmake (mysql5.5以后是通过cmake来编译的) 2:创建mysql的安装目录及数据库存放目录 #mkdir /usr/mysql //安装mysql #mkdir /usr/mysql/data //存放数据库 3:创建mysql用户及用户组 #groupadd mysql 阅读全文
posted @ 2016-03-19 11:38 rigidwang 阅读(210) 评论(0) 推荐(0)

maven 添加本地jar

摘要: 方式一 Xml代码 <dependency> <groupId>org.apache</groupId> <artifactId>test</artifactId> <version>1.0</version> <scope>system</scope> <systemPath>${basedir} 阅读全文
posted @ 2016-03-17 12:48 rigidwang 阅读(164) 评论(0) 推荐(0)

centos6.5 扩容

摘要: 参考:http://www.cnblogs.com/sixiweb/p/3360008.html 阅读全文
posted @ 2016-03-15 14:15 rigidwang 阅读(632) 评论(0) 推荐(0)

Java Web项目调优原则

摘要: 1. 根据oracle生成的awr文件排除是否是数据库或者sql问题 2.配置中间件的dump文件路径,gc log文件路径 3.通过 MemoryAnalyzer 分析 dump文件 4.通过excel分析 gc.log走势 阅读全文
posted @ 2015-12-04 14:43 rigidwang 阅读(224) 评论(0) 推荐(0)

spm完成dmp在windows系统上导入详细过程

摘要: --查询dmp字符集cat spmprd_20151030.dmp |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6select nls_charset_name(to_number('0345','xxxx')) from dual;spm完成dmp在wi... 阅读全文
posted @ 2015-11-05 13:41 rigidwang 阅读(456) 评论(0) 推荐(0)

端口

摘要: telnet用的是23端口,ftp用的是20,21端口22端口就只能用ssh和sftp连接 阅读全文
posted @ 2015-10-29 11:09 rigidwang 阅读(159) 评论(0) 推荐(0)
上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 26 下一页