2017年5月23日
Django 安装
摘要： 在安装 Django 前，系统需要已经安装了Python的开发环境。接下来我们来具体看下不同系统下Django的安装。 Window 下安装 Django 如果你还未安装Python环境需要先下载Python安装包。 1、Python 下载地址：https://www.python.org/down 阅读全文
posted @ 2017-05-23 21:49 花心土豆 阅读(199) 评论(0) 推荐(0) 编辑
Python 环境搭建
摘要： 本章节我们将向大家介绍如何在本地搭建Python开发环境。Python可应用于多平台包括 Linux 和 Mac OS X。你可以通过终端窗口输入 "python" 命令来查看本地是否已经安装Python以及Python的安装版本。 本章节我们将向大家介绍如何在本地搭建Python开发环境。 Pyt 阅读全文
posted @ 2017-05-23 20:58 花心土豆 阅读(226) 评论(0) 推荐(0) 编辑
spark submit参数及调优
摘要： spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --depl 阅读全文
posted @ 2017-05-23 14:24 花心土豆 阅读(30490) 评论(0) 推荐(5) 编辑
2017年5月12日
Spark Streaming 实现思路与模块概述
摘要： Spark Streaming 实现思路与模块概述 [酷玩 Spark] Spark Streaming 源码解析系列 ，返回目录请 猛戳这里 「腾讯·广点通」技术团队荣誉出品 一、基于 Spark 做 Spark Streaming 的思路 Spark Streaming 与 Spark Core 阅读全文
posted @ 2017-05-12 14:31 花心土豆 阅读(464) 评论(0) 推荐(0) 编辑
2017年5月9日
修改yum源为阿里yum源
摘要： 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentOS 5 CentOS 6 CentOS 阅读全文
posted @ 2017-05-09 15:32 花心土豆 阅读(206) 评论(0) 推荐(0) 编辑
2016年12月20日
spark源码解析5-executor启动和任务处理流程
摘要： 在创建taskScheduler的时候SparkContext.createTaskScheduler(this, master)，进行了 new SparkDeploySchedulerBackend（）的步骤，在SparkDeploySchedulerBackend的84行，执行了app运行使用 阅读全文
posted @ 2016-12-20 11:25 花心土豆 阅读(306) 评论(0) 推荐(0) 编辑
spark源码解析4-任务提交流程
摘要： 在任务启动时，sparksubmit已经通过反射的方式调用了用户提交任务的主类中的main方法，所以，本节以wordcount为例讲解在wordcount中主要由以下几步：创建SparkConf，设置名字创建SparkContent，书写程序程序逻辑，启动任务停止任务所以最重要的源码分析应该在new SparkContent（）这个步骤里在281行定义了createSparkEnv（）方法，用来创... 阅读全文
posted @ 2016-12-20 11:23 花心土豆 阅读(258) 评论(0) 推荐(0) 编辑
spark源码解析3-任务启动流程submit
摘要： 在脚本spark-submit中调用SparkSubmit的main方法在main方法中执行如下：获取提交参数，繁琐就打印通过提交的action匹配是什么行为如果是提交任务，执行submit（args）方法在submit（args）方法中执行如下：准备运行环境定义doRunMain（）方法调用runmain（）方法，执行用户提交主类的main（）方法调用doRunMain（）方法 阅读全文
posted @ 2016-12-20 11:22 花心土豆 阅读(233) 评论(0) 推荐(0) 编辑
spark源码解析2-worker启动流程
摘要： 在worker启动时，通过脚本start-slave.sh脚本中调用main（）在main（）中封装参数，调用startRpcEnvAndEndpoint（）创建RpcEnv在startRpcEnvAndEndpoint（）中创建RpcEnv和endpiont，并实例化Worker，执行Worker 阅读全文
posted @ 2016-12-20 11:21 花心土豆 阅读(247) 评论(0) 推荐(0) 编辑
spark源码解析1-master启动流程
摘要： 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建ma 阅读全文
posted @ 2016-12-20 11:20 花心土豆 阅读(260) 评论(0) 推荐(0) 编辑
下一页