大数据和AI躺过的坑

2016年9月29日

摘要： spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio 阅读全文

posted @ 2016-09-29 22:11 大数据和AI躺过的坑阅读(1717) 评论(0) 推荐(0)

spark高级排序彻底解秘

摘要：排序，真的非常重要！ RDD.scala（源码）在其，没有罗列排序，不是说它不重要！本博文的主要内容有: 1、基础排序算法实战 2、二次排序算法实战 3、更高级别排序算法 4、排序算法内幕解密 1、基础排序算法实战启动hdfs集群启动spark集群启动spark-shell 则，可看出，是阅读全文

posted @ 2016-09-29 21:03 大数据和AI躺过的坑阅读(5298) 评论(2) 推荐(0)

2016年9月27日

Spark RDD概念学习系列之rdd持久化、广播、累加器（十八）

摘要： 1、rdd持久化 2、广播 3、累加器 1、rdd持久化通过spark-shell，可以快速的验证我们的想法和操作！启动hdfs集群 spark@SparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ sbin/start-dfs.sh 启动spark集群阅读全文

posted @ 2016-09-27 23:03 大数据和AI躺过的坑阅读(2461) 评论(0) 推荐(0)

Spark RDD/Core 编程 API入门系列之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四）

摘要：声明：大数据中，最重要的算子操作是：join !!! 典型的transformation和action 成为大牛，必写的写法 -> http://blog.csdn.net/kimyoungvon/article/details/51417910 另推荐一篇好的博客，https://www.ite 阅读全文

posted @ 2016-09-27 18:18 大数据和AI躺过的坑阅读(1546) 评论(0) 推荐(0)

Spark RDD/Core 编程 API入门系列之rdd实战（rdd基本操作实战及transformation和action流程图）（源码）（三）

摘要：本博文的主要内容是： 1、rdd基本操作实战 2、transformation和action流程图 3、典型的transformation和action RDD有3种操作： 1、 Trandformation 对数据状态的转换，即所谓算子的转换 2、 Action 触发作业，即所谓得结果的 3、 C 阅读全文

posted @ 2016-09-27 16:29 大数据和AI躺过的坑阅读(1019) 评论(0) 推荐(0)

RDD.scala（源码）

摘要： map、 flatMap、fliter、distinct、repartition、coalesce、sample、randomSplit、randomSampleWithRange、takeSample、union、++、sortBy、intersection map源码 fliter源码 coal 阅读全文

posted @ 2016-09-27 12:02 大数据和AI躺过的坑阅读(2514) 评论(0) 推荐(0)

2016年9月26日

Spark RDD/Core 编程 API入门系列之动手实战和调试Spark文件操作、动手实战操作搜狗日志文件、搜狗日志文件深入实战（二）

摘要： 1、动手实战和调试Spark文件操作这里，我以指定executor-memory参数的方式，启动spark-shell。启动hadoop集群 spark@SparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ jps8457 Jpsspark@SparkS 阅读全文

posted @ 2016-09-26 23:17 大数据和AI躺过的坑阅读(1002) 评论(0) 推荐(0)

Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、lookup（一）

摘要： 1、以本地模式实战map和filter 2、以集群模式实战textFile和cache 3、对Job输出结果进行升和降序 4、union 5、groupByKey 6、join 7、reduce 8、lookup 1、以本地模式实战map和filter 以local的方式，运行spark-shell 阅读全文

posted @ 2016-09-26 21:53 大数据和AI躺过的坑阅读(1102) 评论(0) 推荐(0)

NovaMind *的安装、和谐破解到永久使用

摘要： XMind *思维导图的安装步同类型的软件，这两款软件： XMind 和 NovaMind，各有所长。建议，都安装，合适的时候方便使用。 XMind界面如下： NovaMind界面如下：本博文，主要是NovaMind，废话不多说，直接进入。软件准备下载地址 http://download.c 阅读全文

posted @ 2016-09-26 15:39 大数据和AI躺过的坑阅读(17090) 评论(0) 推荐(1)

小Q书桌的下载、安装和使用

摘要：最近，无意之间，在某大牛电脑里，使用到了这款软件。感谢！确实，挺实用和方便的，强烈推荐！！！ 1、下载 http://qdesk.qq.com/ 2、安装 3、使用多么方便啊！阅读全文

posted @ 2016-09-26 10:04 大数据和AI躺过的坑阅读(753) 评论(0) 推荐(0)

大数据和人工智能躺过的坑

公告