共 8 页: 上一页 1 2 3 4 5 6 下一页 末页
摘要:2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 阅读全文
posted @ 2015-01-03 19:07 TheBug 阅读 (2792) 评论 (1) 编辑
摘要:2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 阅读全文
posted @ 2015-01-01 12:14 TheBug 阅读 (1976) 评论 (0) 编辑
摘要:hive可以从几个方面进行优化,从系统角度看:整体架构、MR阶段、JOB以及平台都可以进行优化。从用户角度看:了解SQL执行过程以及业务数据特点,调整SQL语句进行优化。 阅读全文
posted @ 2014-12-04 00:01 TheBug 阅读 (1723) 评论 (0) 编辑
摘要:默认为10MB,如果大于该值不会执行mapjoin,hive语句中直接设置的mapjoin也不再起作用。参考hive wiki把hive.auto.convert.join.noconditionaltask.size修改大一些就ok。官方解释为:hive.auto.convert.join.noc... 阅读全文
posted @ 2014-10-22 20:57 TheBug 阅读 (903) 评论 (0) 编辑
摘要:基于C++11线程的基本管理,包括如何启动一个线程,如何等待一个线程结束,如何处理一个异常以及如何让一个线程后台运行。 阅读全文
posted @ 2014-08-26 00:26 TheBug 阅读 (1210) 评论 (0) 编辑
摘要:在C++11中的标准库中引入了线程库,这样就可以方便我们并行编程。什么时候需要并行编程呢?什么时候又不需要呢?并用线程库实现hello world。 阅读全文
posted @ 2014-08-19 00:55 TheBug 阅读 (3085) 评论 (3) 编辑
摘要:好玩实在的分布式系统理论系列,本节主要介绍分布式系统中涉及到的一些术语,大家应该经常听到这些术语的,但是具体含义应该没有多少人可以确切回答的,如scalability、latency、performance等。 阅读全文
posted @ 2014-08-13 23:39 TheBug 阅读 (1283) 评论 (5) 编辑
摘要:在上周听了mike的关于linux内核策略的分享,这可是一个长达四个小时的分享,其中一句话印象非常深刻就是,“好的系统性能不是压测出来的,是设计出来的”。内容主要通过后台服务依赖的硬件资源(CPU、内存、外存、网络、其他)主线来介绍的。 阅读全文
posted @ 2014-07-30 23:07 TheBug 阅读 (1103) 评论 (0) 编辑
摘要:每个人都想拥有自己的网站,但是大部分比较屌丝,不想花钱租赁服务器,哈哈,屌丝有屌丝办法。github应该都听说过吧,github.io提供了此功能,而且使用github来管理自己的代码,如果你有域名,还可以绑定你自己的域名欧。我在github的博客终于捣鼓好了,也给大家介绍一下建站步骤。 阅读全文
posted @ 2014-07-27 19:14 TheBug 阅读 (11635) 评论 (2) 编辑
摘要:父Makefile在src目录下包含很多文件夹,那么需要遍历所有的目录执行Makefile,那么给一个在src目录下的Makefile。# 需要排除的目录exclude_dirs := include bin# 取得当前子目录深度为1的所有目录名称DIRS := $(shell find . -ma... 阅读全文
posted @ 2014-07-24 23:11 TheBug 阅读 (870) 评论 (0) 编辑
共 8 页: 上一页 1 2 3 4 5 6 下一页 末页