摘要： Apache Hadoop，一个稳定 可扩展的分布式计算开源软件。尽管Hadoop版本更新快，但大版本仅包括两个（1和2），Hadoop2多出一层资源管理器Yarn提高了资源了利用率。 核心模块： Hadoop Common、HDFS、Hadoop YARN、Hadoop MR Hadoop Com 阅读全文

摘要： 垃圾收集器与内存分配策略 程序计数器、虚拟机栈、本地方法栈三个区域随线程生灭，栈中的栈帧的随着方法进入/退出，且分配的内存大小在类结构确定后就已知，因此这些区域的内存分配回收确定。需要考虑CG的是Java堆和方法区，一个接口中的多个实现类需要的内存不同，方法的多个分支需要的内存也不同。因此这部分是垃 阅读全文

摘要： Java由于虚拟机自动内存管理机制的存在，不需为每一个对象进行delete/free方法，不易出现内存泄漏和内存溢出。但如果全权由Java虚拟机控制，出现内存泄漏的问题时，如果不了解虚拟机如何使用内存，会难以排查错误。 1.运行时数据区域 程序计数器、Java虚拟机栈、本地方法栈、堆、方法区、运行时 阅读全文

摘要： 概率论基础知识 链式法则：$P(\alpha_1,\alpha_2,\alpha_3,\alpha_4...\alpha_k) = P(\alpha_1)P(\alpha_2|\alpha_1)...P(\alpha_k|\alpha_1,\alpha_2,\alpha_3...\alpha_{k 阅读全文

摘要： 类 作用域 private：私有，只可在类中被访问 public：公共，可在类外被使用 protect：保护，在 同一包 中被使用 通过对象能访问的成员只能时类中定义的public成员 构造方法 this、set、get this定义为当前对象的引用（如参数名和成员变量名相同时，通过this显示访问 阅读全文

摘要： JAVA基础 赋值 逻辑运算符 & | ^：在运算时两边的表达式都会被运算执行（^：异或，同真同假返回true） && ||：运算时右边的表达式可能会不被执行 运算符优先级 [] () ++ +(正) (负) / % + 逻辑运算符 赋值(= += =) 强制类型转换 占用内存较大的类型转换为较短的 阅读全文

摘要： 独立性检验表明的是两者是否有关系，相关性检验说明两者成什么样的关系，无论是否有关系都可以表示出回归方程 1 相关性检验 简单相关系数：度量定量变量间的线性相关关系(非相关性) 复相关系数：因变量与多个自变量之间的关系 偏相关系数：反应矫正其他变量后某一变量与另一变量的相关关系，校正：嘉定其他变量取值 阅读全文

摘要： IDEA远程连接Hadoop Win 1.Hadoop配置 下载并配置到本地环境 2.Maven pom.xml 3.core site.xml hadoop集群里的core site.xml文件拿下来，放到resource目录下（记在etc/hosts里的名字记得换成ip地址） 4.替换 wind 阅读全文

摘要： sklearn.pipeline pipeline的目的将许多算法模型串联起来，比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。 优点： 1.直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测 2.可以结合grid search对参数进行选择 阅读全文

摘要： JAVA.static static是静态修饰符，主要作用在于创建独立于具体对象的域变量或者方法。 出发点：当我们通过new关键字去创建对象的时候数据的存储空间才会被分配，类中的成员方法才能被对象所使用。程序中任何变量或代码，都是在编译时，有系统自动分配内存来存储，静态的意义时在编译后分配的内存会一 阅读全文