叮当小说网 找小说网 无限小说网 红尘小说网 幻想小说网 酷文学 深夜书屋
上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 105 下一页

2014年11月8日

spark shuffle

摘要: Spark Shuffle 1. Shuffle相关 当Map的输出结果要被Reduce使用时,输出结果需要按key哈希,并且分发到每一个Reducer上去,这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运... 阅读全文

posted @ 2014-11-08 11:18 麦哲思科技 阅读(639) 评论(0) 推荐(0)

spark sql

摘要: Spark SQL运行机制 Spark SQL 对 SQL 语句的处理和关系型数据库对 SQL 语句的处理采用了类似的方法,首先会将 SQL 语句进行解析(Parse),然后形成一个 Tree,在后续的如绑定、优化等处理过程都是对 Tree 的操作,而操作的方法是采用 Rule,通过模式匹配,对... 阅读全文

posted @ 2014-11-08 11:00 麦哲思科技 阅读(211) 评论(0) 推荐(0)

2014年11月7日

ANDROID L——Material Design综合应用(Demo)

摘要: 转载请注明本文出自大苞米的博客(http://blog.csdn.net/a396901990),谢谢支持! Material Design: Material Design是Google推出的一个全新的设计语言,它的特点就是拟物扁平化。 我将Material Desig... 阅读全文

posted @ 2014-11-07 01:32 麦哲思科技 阅读(249) 评论(0) 推荐(0)

2014年10月28日

ANDROID L——Material Design详解(动画篇)

摘要: 转载请注明本文出自大苞米的博客(http://blog.csdn.net/a396901990),谢谢支持! Android L: Google已经确认Android L就是Android Lollipop(5.0)。 前几天发现Android5.0正式版的sd... 阅读全文

posted @ 2014-10-28 00:51 麦哲思科技 阅读(277) 评论(0) 推荐(0)

2014年10月26日

介绍Amazon分布式存储引擎Dynamo

摘要: Dynamo 是 Amazon 公司的一个分布式存储引擎。 那么这个什么引擎又是什么? 首先,假设一个场景,你的网站要存储用户登陆的IP。这个问题怎么解决呢?传统的方法是用数据库。数据库提供了方便的操作接口,复杂的查询能力以及事物的保证。 好,现在假设大家都很喜欢你的网站,访问的人越来越多。一个数... 阅读全文

posted @ 2014-10-26 21:44 麦哲思科技 阅读(947) 评论(0) 推荐(0)

2014年10月25日

mysql子查询慢的问题

摘要: 当你在用explain工具查看sql语句的执行计划时,若select_type 字段中出现“DEPENDENT SUBQUERY”时,你要注意了,你已经掉入了mysql子查询慢的“坑"。。。下面我们来看一个具体的例子有这样一条查询语句:SELECT gid,COUNT(id) as cou... 阅读全文

posted @ 2014-10-25 21:39 麦哲思科技 阅读(171) 评论(0) 推荐(0)

2014年10月24日

ANDROID L——RecyclerView,CardView导入和使用(Demo)

摘要: 转载请注明本文出自大苞米的博客(http://blog.csdn.net/a396901990),谢谢支持! 简介: 这篇文章是ANDROID L——Material Design详解(UI控件)的一个补充或者说是应用实例,如果有时间建议大家稍微浏览一下上篇文章。 本文主要介绍A... 阅读全文

posted @ 2014-10-24 00:21 麦哲思科技 阅读(245) 评论(0) 推荐(0)

2014年10月20日

Spark集群术语

摘要: Spark集群术语解析 1. Application Application是用户在Spark上构建(编写)的程序,包含driver program 和executors(分布在集群中多个节点上运行的Executor代码)。 2. SparkContext Spa... 阅读全文

posted @ 2014-10-20 19:25 麦哲思科技 阅读(180) 评论(0) 推荐(0)

2014年10月19日

Spark集群模式&Spark程序提交

摘要: Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式,易于构建集群。 Apache Mesos—通用的集群管理,可以在其上运行Hadoop... 阅读全文

posted @ 2014-10-19 22:02 麦哲思科技 阅读(331) 评论(0) 推荐(0)

IDEA阅读Spark源码

摘要: 将spark编译成idea-sbt工程 tar -zxvf spark-1.1.0.tgz cd spark-1.1.0 sbt/sbt gen-idea 等待…… 成功后就能以SBT工程的形式导入idea进行阅读运行。 如果提示栏出现如下的提示内容"is waiting ... 阅读全文

posted @ 2014-10-19 18:27 麦哲思科技 阅读(211) 评论(0) 推荐(0)

上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 105 下一页

导航