2017年4月17日
spark读取hbase数据，如果表存在则删除表然后新建表，如果表不存在则新建表。
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-04-17 08:59 强迫症重症患者 阅读(1) 评论(0) 推荐(0) 编辑
spark读取hbase数据，如果表存在则不做任何操作，如果表不存在则新建表。
摘要： import java.text.SimpleDateFormat import java.util.Date import org.apache.hadoop.hbase.{HColumnDescriptor, HTableDescriptor, HBaseConfiguration} import org.apache.hadoop.hbase.client.{HBaseAdmin, Pu... 阅读全文
posted @ 2017-04-17 08:47 强迫症重症患者 阅读(642) 评论(0) 推荐(0) 编辑
2017年2月24日
在MAC上IDEA Intellij中导入svn项目handshake_failure解决方案
摘要： 解决方案参考链接：http://stackoverflow.com/questions/29106972/intelijidea-14-ssl-handshake-failure 在使用MAC上IDEA Intellij中导入svn项目会出现如下错误： Subversion: (Accessing 阅读全文
posted @ 2017-02-24 09:03 强迫症重症患者 阅读(1532) 评论(0) 推荐(0) 编辑
2017年2月20日
MAC上IDEA Intellij 14卸载
摘要： 卸载MAC中的IDEA Intellij 14 使用命令行： 阅读全文
posted @ 2017-02-20 16:42 强迫症重症患者 阅读(9975) 评论(0) 推荐(0) 编辑
2017年2月17日
spark中将字符串生成二元组集合
摘要： 使用Scala的集合工具包中，使用combinations将字符串生成二元组集合。 spark版本：2.0.2 阅读全文
posted @ 2017-02-17 15:29 强迫症重症患者 阅读(1396) 评论(0) 推荐(0) 编辑
2017年2月8日
map与flatMap的区别
摘要： spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 对比map和flatMap在RDD中的使用： 阅读全文
posted @ 2017-02-08 14:45 强迫症重症患者 阅读(8196) 评论(0) 推荐(1) 编辑
spark TopN问题：dataframe和RDD比较
摘要： spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 spark TopN问题，其实就是分组、排序、组内取值问题。 在shell下输入 进入spark后输入以下命令： 参考资料： http://stackoverflow.com/questions/ 阅读全文
posted @ 2017-02-08 13:42 强迫症重症患者 阅读(521) 评论(0) 推荐(0) 编辑
2017年1月19日
Linux下Rserve的启动
摘要： 在本地启动Rserve（不可远程访问） R CMD Rserve 以远程模式启动Rserve（支持远程访问） R CMD Rserve --RS-enable-remote 查看Rserve进程 ps -aux|grep Rserve 查看Rserve进程端口 netstat -nltp|grep  阅读全文
posted @ 2017-01-19 12:28 强迫症重症患者 阅读(826) 评论(0) 推荐(0) 编辑
在java中实现java与R的交互的几种方法
摘要： package com.ecloud.bigdata.Rserve.Demo; import org.rosuda.REngine.REXP; import org.rosuda.REngine.REXPDouble; import org.rosuda.REngine.REXPInteger; import org.rosuda.REngine.REXPList; import org.ro... 阅读全文
posted @ 2017-01-19 12:14 强迫症重症患者 阅读(554) 评论(0) 推荐(0) 编辑