摘要： Golang中内置了对单元测试的支持，不需要像Java一样引入第三方Jar才能进行测试，下面将分别介绍Golang所支持的几种测试； 一、测试类型 Golang中单元测试有功能测试、基准测试、示例测试或称示例函数三种； 功能测试必须以TestXXX函数名出现，基准测试必须以BenchmarkXXX函 阅读全文

摘要：   Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理；    流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模；    阅读全文

摘要： 一、类型方法的实例成员复制与类型方法的实例成员引用   在Go中可以类似Java等面向对象语言一定为某个对象定义方法，但是Go中并没有类的存在，可以不严格的将Go中的struct类型理解为面向对象中的类； type demoObject struct { id int } &em 阅读全文

摘要：   重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像；   Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可； 配置文件准备 1、Hadoop相关配置文件：core site.xml 阅读全文

摘要：   Kafka的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于k 阅读全文

摘要： 在Python中使用Numpy创建向量： x = np.array([1, 2, 3, 4]) 创建3 x 3矩阵 B = np.array([[1, 2],[3, 4],[5, 6]]) Shape形状，也可称为维度，表示矩阵中每个维度的具体数值; B.shape 3 x 2 转置 行向量可转置为 阅读全文

摘要： 简单介绍下python的几个自动求导工具，tangent、autograd、sympy； 在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种： 手动微分法、数值微分法、符号微分法、自动微分法 ，这里分别简单走马观花（hello world式）的介绍下下面几种微分框架； sympy 强 阅读全文

摘要： 反向传播四公式： 反向传播的最终目的是求得使代价C最小时w、b的最佳值，为了方便计算引入了神经单元误差δ_j^l，其定义为误差C关于某个神经单元z的关系； 其定义如上所示，某神经元误差为代价C（总误差）关于z的偏导数，其中l为神经网络的层数，j为第几个神经元； 这里的代价函数（损失函数）使用的是平方 阅读全文

摘要： 红黑树与AVL树一样同为二分搜索树，红黑树又称为是保持“黑平衡”的二叉树，红黑树最大高度为：2logn，红黑树由这么几个独特的特征： 1、每个节点或黑或红 2、根节点为黑色 3、每个叶子节点（最后的空节点）都为黑色 4、如果一个节点为红色，则他孩子节点全为黑色 5、从任意节点到叶子节点，经过的黑色节 阅读全文

摘要： 前面主要介绍了AVL的基本概念与结构，下面开始详细介绍AVL的实现细节； AVL树实现的关键点 AVL树与二叉搜索树结构类似，但又有些细微的区别，从上面AVL树的介绍我们知道它需要维护其左右节点平衡，实现AVL树关键在于标注节点高度、计算平衡因子、维护左右子树平衡这三点，下面分别介绍； 标注节点高度 阅读全文