大数据和AI躺过的坑

2017年6月5日

摘要：不多说，直接上干货！ SparkSQL的入口：SQLContext SQLContext是SparkSQL的入口 val sc: SparkContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlConte 阅读全文

posted @ 2017-06-05 14:33 大数据和AI躺过的坑阅读(1682) 评论(0) 推荐(0)

Spark SQL 编程API入门系列之SparkSQL的依赖

摘要：不多说，直接上干货！不带Hive支持带Hive支持(推荐使用) 至于，为什么，请移步 Spark SQL 编程API入门系列之SparkSQL的入口阅读全文

posted @ 2017-06-05 14:30 大数据和AI躺过的坑阅读(2145) 评论(0) 推荐(1)

Ubuntu 16.04或14.04里下安装搜狗输入法（图文详解）（全网最简单）

摘要：不多说，直接上干货！其实啊，很简单分三步走 1、添加fcitx的键盘输入法系统，因为sogou是基于fcitx的，而系统默认的是iBus； 2、安装sogou输入法； 3、设置系统参数及一些注意点。 zhouls@zhouls-virtual-machine:~$ sudo -s [sudo] 阅读全文

posted @ 2017-06-05 09:03 大数据和AI躺过的坑阅读(21803) 评论(4) 推荐(0)

SparkSQL 与 Spark Core的关系

摘要：不多说，直接上干货！ SparkSQL 与 Spark Core的关系 Spark SQL构建在Spark Core之上，专门用来处理结构化数据(不仅仅是SQL)。 Spark SQL在Spark Core的基础上针对结构化数据处理进行很多优化和改进，简单来讲： Spark SQL 支持很多种结构阅读全文

posted @ 2017-06-05 08:51 大数据和AI躺过的坑阅读(1152) 评论(0) 推荐(0)

2017年6月4日

Spark on YARN运行模式（图文详解）

摘要：不多说，直接上干货！请移步 Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐） Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz）（master、阅读全文

posted @ 2017-06-04 18:31 大数据和AI躺过的坑阅读(724) 评论(0) 推荐(0)

Spark standalone运行模式（图文详解）

摘要：不多说，直接上干货！请移步 Spark standalone简介与运行wordcount（master、slave1和slave2） Spark standalone模式的安装（spark-1.6.1-bin-hadoop2.6.tgz）（master、slave1和slave2）阅读全文

posted @ 2017-06-04 18:29 大数据和AI躺过的坑阅读(1089) 评论(0) 推荐(0)

Spark任务调度

摘要：不多说，直接上干货！ Spark任务调度 DAGScheduler 构建Stage—碰到shuffle就split 记录哪个RDD 或者Stage 输出被物化重新提交shuffle 输出丢失的stage 将Taskset 传给底层调度器本地性策略 preferredLocations(p) Ta 阅读全文

posted @ 2017-06-04 18:25 大数据和AI躺过的坑阅读(2388) 评论(0) 推荐(1)

Spark基本运行流程

摘要：不多说，直接上干货！ Spark基本运行流程 Application program的组成 Job ：包含多个Task 组成的并行计算，跟Spark action对应。 Stage ： Job 的调度单位，对应于TaskSet 。 TaskSet ：一组关联的、相互之间没有shuffle 依赖关系阅读全文

posted @ 2017-06-04 18:22 大数据和AI躺过的坑阅读(758) 评论(0) 推荐(0)

Spark RDD概念学习系列之RDD的五大特征

摘要：不多说，直接上干货！ RDD的五大特征分区 partitions 依赖 dependencies() 计算函数 computer(p,context) 分区策略(Pair RDD)-- partitioner() 本地性策略 preferredLocations(p) 阅读全文

posted @ 2017-06-04 18:20 大数据和AI躺过的坑阅读(2739) 评论(0) 推荐(0)

Spark编程模型几大要素

摘要：不多说，直接上干货！ Spark编程模型几大要素 Driver Program 输入-Transformation-Action 缓存共享变量阅读全文

posted @ 2017-06-04 18:19 大数据和AI躺过的坑阅读(295) 评论(0) 推荐(0)

大数据和人工智能躺过的坑

公告