08 2015 档案

scala中的self type
摘要：scala目前的书籍有两《快学scala》和《scala编程》。资料确实不多，对这个语法使用只能结合使用进行理解。 先看源码： 这块代码是spark的akka日志记录代码，很具有代表性，self:Actor =>这里有两个作用 1: ActorLogReceive的实现类必须继承Actor 2: 重 阅读全文
posted @ 2015-08-29 00:10 高兴的博客 阅读(1532) 评论(0) 推荐(0)
ubuntu 15.04默认root用户登陆
摘要：1:给root用户设置密码 sudo passwd root 2:修改/etc/lightdm/lightdm.conf [SeatDefaults]autologin-guest=falseautologin-user=rootautologin-user-timeout=0autologin-s 阅读全文
posted @ 2015-08-13 12:09 高兴的博客 阅读(522) 评论(0) 推荐(0)
hive的not in
摘要：最近项目需要对数据做打平操作，原有的sql使用了not in,但是hive 不支持　not in,晚上搜索了下使用　left outer join 通过这个发现where条件作用在join后的结果集上，不知道关系性数据库是不是这样，有时间验证下 阅读全文
posted @ 2015-08-13 09:38 高兴的博客 阅读(1473) 评论(0) 推荐(0)
Spark 1.4.1中Beeline使用的gc overhead limit exceeded
摘要：最近使用SparkSQL做数据的打平操作，就是把多个表的数据经过关联操作导入到一个表中，这样数据查询的过程中就不需要在多个表中查询了，在数据量大的情况下，这样大大提高了查询效率。 我启动了thriftserver,然后通过beeline去连接thriftserver， 打平操作进行的很顺利，但是在执 阅读全文
posted @ 2015-08-08 23:46 高兴的博客 阅读(2278) 评论(0) 推荐(0)
Sequoiadb该如何选择合适的SQL引擎
摘要：Sequoiadb作为一个文档型NoSQL数据既可以存储结构化数据也可以存储非结构化数据，对于非结构化数据只能使用原生的API进行查询，对结构化数据我们可以选择使用原生的API和开源SQL引擎，目前PostgresSQL,Hive,SparkSQL都可以作为Sequoiadb的SQL引擎，应用中该如 阅读全文
posted @ 2015-08-08 23:30 高兴的博客 阅读(1116) 评论(0) 推荐(0)
scala的object知识点
摘要：１：object的中的代码，会在object对象被调用的时候执行且只会执行一次 阅读全文
posted @ 2015-08-04 23:15 高兴的博客 阅读(571) 评论(0) 推荐(0)
scala中同步块
摘要：看到这里， java的jit会导致double-check的问题，　我看spark大量用这个同步快，应该没有double-check的问题吧， 阅读全文
posted @ 2015-08-04 23:09 高兴的博客 阅读(427) 评论(0) 推荐(0)
Thread.currentThread().getContextClassLoader() 和 Class.getClassLoader()区别
摘要：查了一些资料也不是太明白两个的区别，但是前者是最安全的用法 打个简单的比方，你一个WEB程序，发布到Tomcat里面运行。首先是执行Tomcat org.apache.catalina.startup.Bootstrap类，这时候的类加载器是ClassLoader.getSystemClassLoa 阅读全文
posted @ 2015-08-04 23:02 高兴的博客 阅读(45906) 评论(0) 推荐(2)
scala中lazy
摘要：Scala中通过lazy关键字来定义惰性变量，惰性变量只能是不可变变量。只有在调用惰性变量的时候，才会去实例化这个变量 阅读全文
posted @ 2015-08-04 22:56 高兴的博客 阅读(313) 评论(0) 推荐(0)
scala中的注解
摘要：scala中很多注解实现java中关键字的用法 阅读全文
posted @ 2015-08-04 22:55 高兴的博客 阅读(416) 评论(0) 推荐(0)
scala中的表达式
摘要：scala中的表达式是有值的, 所以可以把表达式当做参数来传递, 那么接受表达式的形参定义一般是: block: =>Unit , 没有形参,返回类型Unit spark中的这个代码很经典,可以传递一个代码块给函数: 这个函数使用如下: 传递一个代码块给上面定义的函数,所以代码可以看做是个函数的调用 阅读全文
posted @ 2015-08-01 22:51 高兴的博客 阅读(600) 评论(0) 推荐(0)
scala中枚举
摘要：scala没有从语法的角度来支持枚举,而是通过定义了一个接口Enumeration来支持的 上面是spark中的一个例子,使用type来定义一个同名的类型, 一般就是枚举的类型. Value的可以传递参数,有下面几种方法声明 大致使用就这么多吧.如果有新的后面在编辑吧 阅读全文
posted @ 2015-08-01 22:06 高兴的博客 阅读(6772) 评论(0) 推荐(0)