机器学习导论

• 算法
• 科学研究的第四范式：数据密集型研究范式
• 人工智能发展阶段：符号主义人工智能（下棋）→机器学习（计算机自己找到规则，与统计学目标一致）→深度学习

--------------------------------------------------------------------统计学PART------------------------------------------------------------------------------

• 数据：D1样本点、D2变量（特征）

 

• 分类VS聚类：有监督（输出变量参与建模）
• 机器学习VS经典统计：经典统计有假设，机器学习是归纳式分析；数理基础，算力的发展
• 云计算（分布式）：Google、Apache Hadoop(Spark、Flink数据流)、MapReduce
  • 　　存储方式：核心是RDD方式存储数据，便于管理；DataFrame，有字段
  •        VS本地操作：描述过程pipeline（哪些是输入，是否调整，模型，与哪个输出变量之间的关系），然后再操作