小橘猫的更博日记

摘要：1、什么是分类： 另一种典型的有监督学习问题 标签（模型预测值）y为离散值 实际应用举例： 新闻主题分类：科技、教育、社会、体育？ 疾病诊断：根据病人肺部影像图片，诊断是否患有COVID-19 市场营销：根据顾客历史购买记录和行为偏好，预测用户是否喜欢新产品 信用评估：根据客户历史信贷记录，预测贷款 阅读全文

摘要：矩阵的逆 概念：对于n×n方阵A，如果存在矩阵B使得AB=BA=1,则称B为A的逆矩阵，记为 相关性质：若A为可逆矩阵，则其逆矩阵是唯一的 是否可逆：行列式不等于0、满秩、行（或列）向量组线性无关 阅读全文

摘要：大数据是指数据采集、数据清洗、数据分析和数据应用的整个流程中的理论、技术和方法 机器学习是大数据分析的核心内容。机器学习解决的是找到将X和Y关联的模型F,从Data到X的步骤通常是人工完成的（特征工程） 深度学习是机器学习的一部分，其核心是自动找到对特定任务有效的特征，也即自动完成Data到X的转换 阅读全文

摘要：一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 阅读全文

摘要：实验目的 1.了解循环神经网络的原理 2.掌握循环神经网络的操作 实验原理 RNN的网络结构及原理 RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1 阅读全文

摘要：一、实验目的 （1）通过实验掌握基本的 MLLib 编程方法； （2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本 Spark 版本：2.1.0 数据集：下载 Adult 数据 阅读全文

摘要：一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 数据库：MySQL 三、实 阅读全文

摘要：一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数 阅读全文