摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_first { System.setProperty("hadoop.home.dir","F:\ 阅读全文

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_count { System.setProperty("hadoop.home.dir","F:\ 阅读全文

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_collect { System.setProperty("hadoop.home.dir","F 阅读全文

摘要： Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是 阅读全文

摘要： 1、Hadoop定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、Hadoop有什么 Hadoop的框架最核心的设计就是：HDFS和MapReduce。 HDFS是一个分布式文件系统（Hadoop DistributedFile System）。HDFS有高容错性的特点， 阅读全文

摘要： 上下文管理器允许你在有需要的时候，精确的分配和释放资源。使用上下文管理器最广泛的案例就是with语句了。一个常见的用例，是资源的加锁和解锁，以及关闭已打开的文件。 通过使用with，许多样板代码被消掉了，这就是with语句的主要优势，它确保我们的文件会被关闭，而不用关注嵌套代码如何退出。 with 阅读全文

摘要： import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/17. */ object A_countByKe 阅读全文

摘要： 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。re 模块使 Python 语言拥有全部的正则表达式功能。 import re #re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直 阅读全文

摘要： 首先说一下python中的函数的特性： 一切皆对象； 可以在函数中定义函数，也就是说我们可以创建嵌套函数； 从函数中返回函数； 将函数作为参数传给另一个函数； 而装饰器：简单的说他们是修改其他函数的功能的函数。他们有助于让我们的代码更简短，也更Pythonic（Python范儿）。他们封装一个函数， 阅读全文

摘要： (集合)是一个非常有用的数据结构。它与列表list的行为类似，区别在于set不能包含重复的值。 some_list = ['a', 'b', 'c', 'd', 'b', 'a', 'n', 'n'] duplicates = set([x for x in some_list if some_li 阅读全文