摘要： MongoSpark为入口类，调用MongoSpark.load，该方法返回一个MongoRDD类对象，Mongo Spark Connector框架本质上就是一个大号的自定义RDD，加了些自定义配置、适配几种分区器规则、Sql的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析 阅读全文

摘要： Go中也提供了反射机制，与Java一样Go的反射也是在运行时获取对象的相关信息，更新对象内部状态；Golang通过反射可以获取对象类型、字段类型与值、调用struct实例方法、更新实例值等； Go关于反射相关的对象、函数都在reflect包中最主要的两个为：Type与Value； Go提供了下面两个 阅读全文

摘要： Golang中存在一个Sync.Pool 对象，从名字上看像是对象池，但他本质上和实际上的对象池有着很大的区别，下面将详细介绍该对象。 Sync.Pool对象可伸缩、并发安全； 数据结构 sync.Pool对外暴露Get、Put、New三个方法，Get返回Pool中的对象，当没有取得到对象时调用Ne 阅读全文

摘要： Go中存在着不少内置函数，此类函数并不需要引入相关Package就可以直接使用该类函数。在Go的源码builtin包的builtin.go中定义Go所有的内置函数；但该文件仅仅是定义描述出了所有内置函数，并不包含函数的任何实现代码，该文件除了定义了内置函数还定义了部分内置类型； 内置函数使用 len 阅读全文

摘要： Golang中内置了对单元测试的支持，不需要像Java一样引入第三方Jar才能进行测试，下面将分别介绍Golang所支持的几种测试； 一、测试类型 Golang中单元测试有功能测试、基准测试、示例测试或称示例函数三种； 功能测试必须以TestXXX函数名出现，基准测试必须以BenchmarkXXX函 阅读全文

摘要：   Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理；    流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模；    阅读全文

摘要： 一、类型方法的实例成员复制与类型方法的实例成员引用   在Go中可以类似Java等面向对象语言一定为某个对象定义方法，但是Go中并没有类的存在，可以不严格的将Go中的struct类型理解为面向对象中的类； type demoObject struct { id int } &em 阅读全文

摘要：   重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像；   Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可； 配置文件准备 1、Hadoop相关配置文件：core site.xml 阅读全文

摘要：   Kafka的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于k 阅读全文

摘要： 在Python中使用Numpy创建向量： x = np.array([1, 2, 3, 4]) 创建3 x 3矩阵 B = np.array([[1, 2],[3, 4],[5, 6]]) Shape形状，也可称为维度，表示矩阵中每个维度的具体数值; B.shape 3 x 2 转置 行向量可转置为 阅读全文