阿布_alone - 博客园

2020年1月12日

摘要： reduce和reduceByKey的区别 reduce和reduceByKey是spark中使用地非常频繁的，在字数统计中，可以看到reduceByKey的经典使用。那么reduce和reduceBykey的区别在哪呢？reduce处理数据时有着一对一的特性，而reduceByKey则有着多对一的阅读全文

posted @ 2020-01-12 00:16 阿布_alone 阅读(12068) 评论(0) 推荐(1)

Spark入门（四）--Spark的map、flatMap、mapToPair

摘要： spark的RDD操作在上一节Spark经典的单词统计中，了解了几个RDD操作，包括flatMap，map，reduceByKey，以及后面简化的方案，countByValue。那么这一节将介绍更多常用的RDD操作，并且为每一种RDD我们分解来看其运作的情况。 spark的flatMap flat 阅读全文

posted @ 2020-01-12 00:15 阿布_alone 阅读(8330) 评论(0) 推荐(1)

Spark入门（三）--Spark经典的单词统计

摘要： spark经典之单词统计准备数据既然要统计单词我们就需要一个包含一定数量的文本，我们这里选择了英文原著《GoneWithTheWind》（《飘》）的文本来做一个数据统计，看看文章中各个单词出现频次如何。为了便于大家下载文本。可以到GitHub上下载文本以及对应的代码。我将文本放在项目的目录下。阅读全文

posted @ 2020-01-12 00:00 阿布_alone 阅读(4488) 评论(0) 推荐(0)

2020年1月10日

Spark入门（二）--如何用Idea运行我们的Spark项目

摘要：用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处，其中最大的好处，就是我们甚至可以在工程当中直接运行、调试我们的代码，在控制台输出我们的结果。或者可以逐行跟踪代码，了解spark运行的机制。因此我们选择了idea，当然Idea不是首选，当然也可以用其他工具。因为我们的Spark 阅读全文

posted @ 2020-01-10 20:05 阿布_alone 阅读(8676) 评论(0) 推荐(1)

Spark入门（一）--用Spark-Shell初尝Spark滋味

摘要： Spark-Shell的使用执行scala命令的spark-shell 进入spark的sbin目录，打开键入 ./spark-shell 即可进入spark-shell的目录 spark-shell运行过程从上层来看，每一个spark应用都是由驱动器程序发起集群上的并行操作，在spark-she 阅读全文

posted @ 2020-01-10 20:03 阿布_alone 阅读(1084) 评论(0) 推荐(0)

Spark实战--搭建我们的Spark分布式架构

摘要： Spark的分布式架构如我们所知，spark之所以强大，除了强大的数据处理功能，另一个优势就在于良好的分布式架构。举一个例子在Spark实战--寻找5亿次访问中，访问次数最多的人中，我用四个spark节点去尝试寻找5亿次访问中，次数最频繁的ID。这一个过程耗时竟然超过40分钟，对一个程序来说，40 阅读全文

posted @ 2020-01-10 19:59 阿布_alone 阅读(1080) 评论(0) 推荐(0)

windows下安装spark-python

摘要：首先需要安装Java 下载安装并配置Spark 从官方网站Download Apache Spark™下载相应版本的spark，因为spark是基于hadoop的，需要下载对应版本的hadoop才行，这个页面有对hadoop的版本要求，点击Download Spark: spark-2.3.1-bi 阅读全文

posted @ 2020-01-10 00:19 阿布_alone 阅读(2097) 评论(0) 推荐(0)

2020年1月5日

解决mongo单文档超过16M

摘要： mongodb导入大文件的数据时，导入一小部分后，提示lost connect，失去连接。mongo文件有6.3G，网上查了一下，原来Mongo对单次处理好像有大小限制（16m），所以大文件会出问题,这应该是个Bug mongoimport 默认会10000条为一个批量导入数据，解决方法是在导入的阅读全文

posted @ 2020-01-05 01:30 阿布_alone 阅读(4942) 评论(1) 推荐(0)

2020年1月4日

mongo请求超时

摘要： no_cursor_timeout=True参数的使用默认拿到cursor后，十分钟内不取数倨或者十分钟内每把数据取完，再继续取，会有timeout的的报错(所以针对取了数据做了很耗时的操作，在这边最好加上这个参数) 实例： import pymongo handler = pymongo.Mon 阅读全文

posted @ 2020-01-04 21:36 阿布_alone 阅读(708) 评论(0) 推荐(0)

codecs打开不同步给编码的文件

摘要：实例： with codecs.open(file=源文件,mode='命令',encoding='编(解)码方式') as 命名：阅读全文

posted @ 2020-01-04 21:23 阿布_alone 阅读(90) 评论(0) 推荐(0)

阿布alone

公告