麦哲思科技

摘要： Spark Shuffle 1. Shuffle相关 当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运... 阅读全文

摘要： Spark SQL运行机制 Spark SQL 对 SQL 语句的处理和关系型数据库对 SQL 语句的处理采用了类似的方法,首先会将 SQL 语句进行解析(Parse),然后形成一个 Tree,在后续的如绑定、优化等处理过程都是对 Tree 的操作,而操作的方法是采用 Rule,通过模式匹配,对... 阅读全文

摘要： 转载请注明本文出自大苞米的博客（http://blog.csdn.net/a396901990），谢谢支持！ Material Design： Material Design是Google推出的一个全新的设计语言，它的特点就是拟物扁平化。 我将Material Desig... 阅读全文

摘要： 转载请注明本文出自大苞米的博客（http://blog.csdn.net/a396901990），谢谢支持！ Android L： Google已经确认Android L就是Android Lollipop（5.0）。 前几天发现Android5.0正式版的sd... 阅读全文

摘要： Dynamo 是 Amazon 公司的一个分布式存储引擎。 那么这个什么引擎又是什么? 首先，假设一个场景，你的网站要存储用户登陆的IP。这个问题怎么解决呢?传统的方法是用数据库。数据库提供了方便的操作接口，复杂的查询能力以及事物的保证。 好，现在假设大家都很喜欢你的网站，访问的人越来越多。一个数... 阅读全文

摘要： 当你在用explain工具查看sql语句的执行计划时，若select_type 字段中出现“DEPENDENT SUBQUERY”时，你要注意了，你已经掉入了mysql子查询慢的“坑"。。。下面我们来看一个具体的例子有这样一条查询语句：SELECT gid,COUNT(id) as cou... 阅读全文

摘要： 转载请注明本文出自大苞米的博客（http://blog.csdn.net/a396901990），谢谢支持！ 简介： 这篇文章是ANDROID L——Material Design详解（UI控件）的一个补充或者说是应用实例，如果有时间建议大家稍微浏览一下上篇文章。 本文主要介绍A... 阅读全文

摘要： Spark集群术语解析 1. Application Application是用户在Spark上构建(编写)的程序，包含driver program 和executors（分布在集群中多个节点上运行的Executor代码）。 2. SparkContext Spa... 阅读全文

摘要： Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop... 阅读全文

摘要： 将spark编译成idea-sbt工程 tar -zxvf spark-1.1.0.tgz cd spark-1.1.0 sbt/sbt gen-idea 等待…… 成功后就能以SBT工程的形式导入idea进行阅读运行。 如果提示栏出现如下的提示内容"is waiting ... 阅读全文