大数据流动

摘要： 过拟合(over-fitting) 欠拟合 正好 过拟合 怎么解决 1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 些模型选择的算法来帮忙（例如 PCA） 2.正则化。 保留所有的特征，但是减少参数的大小（magnitude） 回归问题的模型是 是高次项导致了这个问题 阅读全文

摘要： 1、饿汉模式 public class Singleton{ private static Singleton instance = new Singleton(); private Singleton() public static Singleton newInstance(){ return 阅读全文

摘要： 需要精通java开发，有一定linux基础。 1、简介 大数据就是对海量数据进行数据挖掘。 已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。 常见应用推荐系统，用户画像等。 2、hadoop hado 阅读全文

摘要： notebook1.md NoteBook学习（一） Zeppelin VS Jupyter1 NoteBook是什么？比IDE更受数据科学家欢迎的数据处理工具，笔记本。提供了基于浏览器的交互式分析环境，数据科学家可以使用Python、Scala或者R进行交互式的开发，来设计分析模型，可视化展现分析 阅读全文

摘要： Zeppelin官网地址： http://zeppelin.apache.org/ Github地址： https://github.com/apache/zeppelin （参照官网） 1、什么是zeppelin 多用途的笔记本。数据的采集 发现 分析 可视化 协作。。 支持20+种后端语言，支持 阅读全文

摘要： 逻辑回归(Logistic Regression) 线性回归用来预测，逻辑回归用来分类。 线性回归是拟合函数，逻辑回归是预测函数 逻辑回归就是分类、 分类问题用线性方程是不行的 线性方程拟合的是连续的值 逻辑回归是分类问题 比如肿瘤问题 只有 0 ，1 两种情况 逻辑回归的方程写成 X是特征向量 t 阅读全文

摘要： Spark核心API [SparkContext] 连接到spark集群,入口点. [HadoopRDD] 读取hadoop上的数据， [MapPartitionsRDD] 针对父RDD的每个分区提供了函数构成的新类型RDD. [PairRDDFunctions] 对偶RDD函数类。 可用于KV类型 阅读全文

摘要： 添加针对scala文件的编译插件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema 阅读全文

摘要： 官网对Spark的介绍 http://spark.apache.org/ Apache Spark™ is a unified analytics engine for large-scale data processing Lightning-fast cluster computing。 快如闪 阅读全文

摘要： 机器学习（三） 多变量线性回归(Linear Regression with Multiple Variables) 同样是预测房价问题 如果有多个特征值 那么这种情况下 假设h表示为 公式可以简化为 两个矩阵相乘 其实就是所有参数和变量相乘再相加 所以矩阵的乘法才会是那样 那么他的代价函数就是 同 阅读全文