jacksu|关注大数据技术

摘要： 2014年apache开源软件最火的应该是spark，没有之一。为了更好的掌握spark，scala应该是必须学习的。为了一周左右快速入门scala，对scala有个基本认识，不可能像学校那样拿着书系统学习，只能通过官网tutorial以及高手的总结（后面的参考资料）。现把scala的基本知识总结了一下，分享给大家。 阅读全文

摘要： 2014年apache开源软件最火的应该是spark，没有之一。为了更好的掌握spark，scala应该是必须学习的。为了一周左右快速入门scala，对scala有个基本认识，不可能像学校那样拿着书系统学习，只能通过官网tutorial以及高手的总结（后面的参考资料）。现把scala的基本知识总结了一下，分享给大家。 阅读全文

摘要： hive可以从几个方面进行优化，从系统角度看：整体架构、MR阶段、JOB以及平台都可以进行优化。从用户角度看:了解SQL执行过程以及业务数据特点，调整SQL语句进行优化。 阅读全文

摘要： 默认为10MB，如果大于该值不会执行mapjoin，hive语句中直接设置的mapjoin也不再起作用。参考hive wiki把hive.auto.convert.join.noconditionaltask.size修改大一些就ok。官方解释为：hive.auto.convert.join.noc... 阅读全文

摘要： 基于C++11线程的基本管理，包括如何启动一个线程，如何等待一个线程结束，如何处理一个异常以及如何让一个线程后台运行。 阅读全文

摘要： 在C++11中的标准库中引入了线程库，这样就可以方便我们并行编程。什么时候需要并行编程呢？什么时候又不需要呢？并用线程库实现hello world。 阅读全文

摘要： 好玩实在的分布式系统理论系列，本节主要介绍分布式系统中涉及到的一些术语，大家应该经常听到这些术语的，但是具体含义应该没有多少人可以确切回答的，如scalability、latency、performance等。 阅读全文

摘要： 在上周听了mike的关于linux内核策略的分享，这可是一个长达四个小时的分享，其中一句话印象非常深刻就是，“好的系统性能不是压测出来的，是设计出来的”。内容主要通过后台服务依赖的硬件资源（CPU、内存、外存、网络、其他）主线来介绍的。 阅读全文

摘要： 每个人都想拥有自己的网站，但是大部分比较屌丝，不想花钱租赁服务器，哈哈，屌丝有屌丝办法。github应该都听说过吧，github.io提供了此功能，而且使用github来管理自己的代码，如果你有域名，还可以绑定你自己的域名欧。我在github的博客终于捣鼓好了，也给大家介绍一下建站步骤。 阅读全文

摘要： 父Makefile在src目录下包含很多文件夹，那么需要遍历所有的目录执行Makefile，那么给一个在src目录下的Makefile。# 需要排除的目录exclude_dirs := include bin# 取得当前子目录深度为1的所有目录名称DIRS := $(shell find . -ma... 阅读全文