高兴的博客 - 博客园

2015年8月4日

Thread.currentThread().getContextClassLoader() 和 Class.getClassLoader()区别

摘要：查了一些资料也不是太明白两个的区别，但是前者是最安全的用法打个简单的比方，你一个WEB程序，发布到Tomcat里面运行。首先是执行Tomcat org.apache.catalina.startup.Bootstrap类，这时候的类加载器是ClassLoader.getSystemClassLoa 阅读全文

posted @ 2015-08-04 23:02 高兴的博客阅读(45897) 评论(0) 推荐(2)

scala中lazy

摘要： Scala中通过lazy关键字来定义惰性变量，惰性变量只能是不可变变量。只有在调用惰性变量的时候，才会去实例化这个变量阅读全文

posted @ 2015-08-04 22:56 高兴的博客阅读(311) 评论(0) 推荐(0)

scala中的注解

摘要： scala中很多注解实现java中关键字的用法阅读全文

posted @ 2015-08-04 22:55 高兴的博客阅读(411) 评论(0) 推荐(0)

2015年8月1日

scala中的表达式

摘要： scala中的表达式是有值的, 所以可以把表达式当做参数来传递, 那么接受表达式的形参定义一般是: block: =>Unit , 没有形参,返回类型Unit spark中的这个代码很经典,可以传递一个代码块给函数: 这个函数使用如下: 传递一个代码块给上面定义的函数,所以代码可以看做是个函数的调用阅读全文

posted @ 2015-08-01 22:51 高兴的博客阅读(592) 评论(0) 推荐(0)

scala中枚举

摘要： scala没有从语法的角度来支持枚举,而是通过定义了一个接口Enumeration来支持的上面是spark中的一个例子,使用type来定义一个同名的类型, 一般就是枚举的类型. Value的可以传递参数,有下面几种方法声明大致使用就这么多吧.如果有新的后面在编辑吧阅读全文

posted @ 2015-08-01 22:06 高兴的博客阅读(6767) 评论(0) 推荐(0)

2015年7月30日

spark sql建表的异常

摘要：在使用spark sql创建表的时候提示如下错误： missing EOF at 'from' near ')' 可以看下你的建表语句中是不是create external table .... ，把external删除就好了，spark sql 不支持external 关键字阅读全文

posted @ 2015-07-30 16:47 高兴的博客阅读(1392) 评论(0) 推荐(0)

hive和sequoiadb对接的问题

摘要：使用hive和spark对接的时候，当两个表做JOIN的时候，如果表的数据量很大一定要做set hive.auto.convert.join=false 阅读全文

posted @ 2015-07-30 16:45 高兴的博客阅读(227) 评论(0) 推荐(0)

2015年7月15日

java IO的总结

摘要： 1： fileChannel 没有bufferedreader快， bufferedreader 可设置缓冲大小和编码 2： bufferedreader 的readline 遇到回车也换行阅读全文

posted @ 2015-07-15 18:23 高兴的博客阅读(164) 评论(0) 推荐(0)

2015年7月1日

Spark的序列化

摘要： spark的序列化主要使用了hadoop的writable和java的Serializable。说到底就是使用hadoop的writable替换了java的默认序列化实现方式。这个有个让人疑惑的地方是使用@transient 表示该值不会被序列化,我做个一个测试是可以的，为什么呢，因为spark 阅读全文

posted @ 2015-07-01 17:51 高兴的博客阅读(3418) 评论(0) 推荐(0)

2015年5月27日

pentaho和spark-sql对接

摘要： pentaho可以和hive做对接，所以和spark-sql做对接也是妥妥的。结果让人很失望了啊，我配置了很久都搞不定，最后脑袋突然灵机一动打通了。 1：替换pentaho自带的hive驱动。路径：biserver-ce\tomcat\webapps\pentaho\WEB-INF\lib 删除阅读全文

posted @ 2015-05-27 15:24 高兴的博客阅读(840) 评论(1) 推荐(0)

高兴

谨言慎行,格物致知

公告