岚之山

摘要： Spark学习之键值对（pair RDD）操作（3）1. 我们通常从一个RDD中提取某些字段（如代表事件时间、用户ID或者其他标识符的字段），并使用这些字段为pair RDD操作中的键。2. 创建pair RDD1）读取本身就是键值对的数据2）一个普通的RDD通过map()转为pa... 阅读全文

摘要： Spark学习之RDD编程（2）1. Spark中的RDD是一个不可变的分布式对象集合。2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。3. 创建RDD:1）读取一个外部数据集2）在驱动器程序里分发驱动器程序中的对象集合。4. RDD支持... 阅读全文

摘要： Spark学习之基础相关组件（1）1. Spark是一个用来实现快速而通用的集群计算的平台。2. Spark的一个主要特点是能够在内存中进行计算，因而更快。3. RDD（resilient distributed dataset弹性分布式数据集）表示分布在多个计算节点上可以并行操作... 阅读全文

摘要： SAS进阶《深入分析SAS》之数据汇总和展现1. 通过Print过程制作报表proc print ;run;选项：obs=修改观测序号列标签noobs不显示观测序列号id语句在输出中取代观测序列var选择输出的变量where语句选择输出的观测总结如下： proc print ... 阅读全文

摘要： 程序员必知的LinuxShell命令grep (Globle Regular Expression Print全局正则表达式)命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来 －c：只输出匹配行的计数。 －I：不区分大 小写(只适用于单字... 阅读全文

摘要： 在前面的教程中我们学习了如何使用JDOM解析和修改XML文件内容，本节介绍如何将Java对象转换为XML数据并生成文件。 JDOM的Document类提供了便捷的方法创建元素和属性，XMLOutputter 类能将Document写到任何OutputStream和Writer对象中... 阅读全文

摘要： Python之数据聚合与分组运算1. 关系型数据库方便对数据进行连接、过滤、转换和聚合。2. Hadley Wickham创建了用于表示分组运算术语“split-apply-combine”（拆分-应用-合并）。3. GroupBy的size方法，它可以返回一个含有分组大小的Ser... 阅读全文

摘要： AngularJs是Google工程师研发的产品，它的强大之处不是几句话就能描述的，只有真正使用过的人才能体会到，笔者准备在这篇文章中，以一个简单的登录校验的例子说明如何使用AngularJs和Web服务器进行交互。准备工作1.下载angular js库。 官网下载地址：htt... 阅读全文

摘要： Python之绘图和可视化1. 启用matplotlib最常用的Pylab模式的IPython（IPython --pylab）2. matplotlib的图像都位于Figure对象中。可以使用plt.figure创建一个新的Figure，不能通过空Figure绘图，必须用add_... 阅读全文

摘要： Python之数据规整化：清理、转换、合并、重塑1. 合并数据集pandas.merge可根据一个或者多个不同DataFrame中的行连接起来。pandas.concat可以沿着一条轴将多个对象堆叠到一起。实例方法combine_first可以将重复数据编接在一起，用一个对象中的值... 阅读全文