大数据和AI躺过的坑

2016年9月25日

摘要： sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect sc.textFile("README.md").flatMap(line => li 阅读全文

posted @ 2016-09-25 16:28 大数据和AI躺过的坑阅读(519) 评论(0) 推荐(0)

Spark Repl过程分析（源码）

摘要：阅读全文

posted @ 2016-09-25 12:05 大数据和AI躺过的坑阅读(435) 评论(0) 推荐(0)

SparkContext的初始化过程分析（源码）

摘要： SparkContext的构造函数中，最重要的入参是SparkConf 根据初始化入参生成SparkConf 再根据SparkConf来创建SparkEnv TaskScheduler.start的目的，是启动相应的SchedulerBackend，并启动定时器进行检测。总结阅读全文

posted @ 2016-09-25 11:58 大数据和AI躺过的坑阅读(418) 评论(0) 推荐(0)

从Spark-Shell到SparkContext的函数调用路径过程分析（源码）

摘要：不急，循序渐进，先打好基础 Spark shell的原理首先，我们清晰定位找到这几个。 1、spark-shell 2、 spark-submit 3、spark-class 4、SparkSubmit.scala 5、SparkILoop.scala createSparkContext的源码阅读全文

posted @ 2016-09-25 11:13 大数据和AI躺过的坑阅读(1480) 评论(0) 推荐(0)

2016年9月24日

5 weekend01、02、03、04、05、06、07的分布式集群的HA测试 + hdfs--动态增加节点和副本数量管理 + HA的java api访问要点

摘要： weekend01、02、03、04、05、06、07的分布式集群的HA测试 1） weekend01、02的hdfs的HA测试 2） weekend03、04的yarn的HA测试 1） weekend01、02的hdfs的HA测试首先，分布式集群都是正常的，且工作的然后呢，以上是，weeke 阅读全文

posted @ 2016-09-24 11:40 大数据和AI躺过的坑阅读(478) 评论(0) 推荐(0)

4 weekend110的hive入门

摘要：查看企业公认的最新稳定版本： https://archive.apache.org/dist/ Hive和HBase都很重要，当然啦，各自也有自己的替代品。在公司里，SQL有局限，大部分时候，不需写mr程序的，用hive这个工具。公司里的懂java开发员工不一定每个公司都有，但懂SQL开发员工很阅读全文

posted @ 2016-09-24 11:11 大数据和AI躺过的坑阅读(364) 评论(0) 推荐(0)

3 视频里weekend05、06、07的可靠性 + HA原理、分析、机制 + weekend01、02、03、04、05、06、07的分布式集群搭建

摘要：现在，我们来验证分析下，zookeeper集群的可靠性现在有weekend05、06、07 将其一个关掉，分析，这3个zookeeper集群里，杀死了weekend06，还存活weekend05、07。可见，还能正常工作。分析，这3个zookeeper集群里，杀死了weekend06、07，阅读全文

posted @ 2016-09-24 11:07 大数据和AI躺过的坑阅读(199) 评论(0) 推荐(0)

2 weekend110的zookeeper的原理、特性、数据模型、节点、角色、顺序号、读写机制、保证、API接口、ACL、选举、 + 应用场景：统一命名服务、配置管理、集群管理、共享锁、队列管理

摘要：在hadoop生态圈里，很多地方都需zookeeper。启动的时候，都是普通的server，但在启动过程中，通过一个特定的选举机制，选出一个leader。只运行在一台服务器上，适合测试环境；Zookeeper 的启动脚本在 bin 目录下；在启动脚本之前，还有几个基本的配置项需要配置一下， ti 阅读全文

posted @ 2016-09-24 10:48 大数据和AI躺过的坑阅读(526) 评论(0) 推荐(0)

1 week110的zookeeper的安装 + zookeeper提供少量数据的存储

摘要：随时查看，zookeeper企业里公认的最新文档版本！ https://archive.apache.org/dist/ 下面是在weekend110上的zookeeper的安装在此之前，先进行快照备份。在这里，为了后续的zookeeper配置需要，在/home/hadoop/下，新建data目阅读全文

posted @ 2016-09-24 09:43 大数据和AI躺过的坑阅读(769) 评论(0) 推荐(0)

weekend110（Hadoop）的第五天笔记

摘要：（2015年1月24日）课程目录 01-zookeeper1 02-zookeeper2 03-NN高可用方案的要点1 04-hadoop-HA机制的配置文件 05-hadoop分布式集群HA模式部署 06-hdfs--HA测试 07-hdfs--动态增加节点和副本数量管理 08-HA的java 阅读全文

posted @ 2016-09-24 09:35 大数据和AI躺过的坑阅读(230) 评论(0) 推荐(0)

大数据和人工智能躺过的坑

公告