dy9776

摘要： 最近和朋友无意间讨论起了 有关java 和C 的 效率问题， （我是java 推介者， 他是 c 语言推介者， 他做的是嵌入式） 故，想通过网络查询一下， 总结一下，两者到底效率如何，其有何差异，原因又是啥？各种优势有在何处？ 1 Java 语言的概述 作为一种面向对象的程序设计语言，Java 与 阅读全文

摘要： 背景 最近阅读了 Martin Fowler 和 James Lewis 合著的一篇文章 Microservices， 文中主要描述和探讨了最近流行起来的一种服务架构模式——微服务，和我最近几年工作的实践比较相关感觉深受启发。本文吸收了部分原文观点，结合自身实践经验来探讨下服务架构模式的演化。 面向 阅读全文

摘要： 官方提供了2种方法 1.利用反射来推断包含特定类型对象的RDD的schema。这种方法会简化代码并且在你已经知道schema的时候非常适用。 先创建一个bean类 case class Person(name: String, age: Int) 然后将Rdd转换成DataFrame val peo 阅读全文

摘要： 今天把一个列表转换成字符串输出的时候出现了UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128)问题，使用的是ulipad编译器。 解决方法1： 在开 阅读全文

摘要： 在python2.x版本中可以直接使用import urllib来进行操作，但是python3.x版本中使用的是import urllib.request来进行操作，下面是简单的例子： python2.x python3.x 阅读全文

摘要： 1.python开发集成工具Spyder中，如何设置变量成员提示和代码补全呢？ 答: pip install rope,安装好rope 就可以了 2.最常用的是：tap的制动补全 （IPython console窗口或文本编译器 需要按Tab键触发自动完成） 3.查看类中的变量 view->pane 阅读全文

摘要： Spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就 阅读全文

摘要： 4种操作符的区别和联系 一、 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。 用法为 x::list,其中x为加入到 头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, x::list等价于list.: 阅读全文

摘要： dycopy :http://blog.csdn.net/dabokele/article/details/52802150 Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Sc 阅读全文

摘要： RDD操作 RDD操作 1.对一个数据为{1，2，3，3}的RDD进行基本的RDD转化操作 map() {1,2,3} 2.对数据分别为{1，2，3}和{3，4，5}的RDD进行针对两个RDD的转化操作 3.对一个数据为{1，2，3，3}的RDD进行基本的RDD行动操作 rdd.aggregate( 阅读全文