正文内容加载中...
posted @ 2017-08-30 16:55 昕友软件开发 阅读(42) 评论(0) 编辑
摘要: 创建表 hive 查看本地的文件#Can execute local commands within CLI, place a command in between ! and ;!cat data/text.txt; 文件的内容user1,Funny Story,1343182026191user阅读全文
posted @ 2017-08-30 10:45 昕友软件开发 阅读(17) 评论(0) 编辑
摘要: 1、启动cd <hbase_home>/bin$ ./start-hbase.sh 2、启动hbase shell # find hadoop-hbase dfs fileshadoop fs -ls /hbase #start shellhbase shell #Run a command to 阅读全文
posted @ 2017-08-29 11:00 昕友软件开发 阅读(11) 评论(0) 编辑
摘要: Ehcache可以对页面、对象、数据进行缓存,同时支持集群/分布式缓存。在应用中用于常常需要读取的数据交换,而不是通过DB DAO数据交换(cache不占用DB宝贵的NIO,直接交换堆内存)。 整合Spring、Hibernate也非常的简单,Spring对Ehcache的支持也非常好。EHCach阅读全文
posted @ 2017-07-14 10:24 昕友软件开发 阅读(18) 评论(0) 编辑
摘要: 主要认证授权技术 LtpaToken全称:IBM Lightweight Third-Party Authentication。是一个羽量的token生成规则,作用有点像OAUTH2.0的第四种规则Client Credentials,即直接产生Access Token一个非常灵活的认证规则,轻量级阅读全文
posted @ 2017-07-03 11:56 昕友软件开发 阅读(186) 评论(0) 编辑
摘要: 首先,你如果搜索“JAVA获取本机IP地址”,基本上搜到的资料全是无用的。比如这篇:http://www.cnblogs.com/zrui-xyu/p/5039551.html实际上的代码在复杂环境下是不准的 网上一个比较普遍的说法是InetAddress.getLocalHost().getHos阅读全文
posted @ 2017-06-23 18:12 昕友软件开发 阅读(96) 评论(0) 编辑
摘要: Pair RDD转化操作 val rdd = sc.parallelize(List((1,2),(3,4),(3,6))) //reduceByKey,通过key来做合并val r1 = rdd.reduceByKey((x,y)=>x+y).collect()val r1 = rdd.reduc阅读全文
posted @ 2017-06-16 16:46 昕友软件开发 阅读(17) 评论(0) 编辑
摘要: 1、最基本的Map用法 val data = Array(1, 2, 3, 4, 5)val distData = sc.parallelize(data)val result = distData.map(x=>x*x)println(result.collect().mkString(","))阅读全文
posted @ 2017-06-15 16:38 昕友软件开发 阅读(18) 评论(0) 编辑
摘要: 1、创建数据框架 Creating DataFrames val df = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json");df.show(); 写到hdfs路径:df.select阅读全文
posted @ 2017-06-14 17:35 昕友软件开发 阅读(35) 评论(0) 编辑
摘要: 推荐:命令大全 http://man.linuxde.net/ 重要的几个热键[Tab],[ctrl]-c, [ctrl]-d [Tab]按键 具有『命令补全』不『档案补齐』的功能 [Ctrl]-c按键 让当前的程序『停掉』 [Ctrl]-d按键 通常代表着:『键盘输入结束(End Of File,阅读全文
posted @ 2017-06-12 09:05 昕友软件开发 阅读(40) 评论(0) 编辑