01 2021 档案

机器学习第五讲-聚类
摘要：聚类介绍 K-Means:基本原理、优化目标和求解方法 GMM:给类标签引入概率解释 EM算法：一种求解隐变量概率模型的通用方法 阅读全文
posted @ 2021-01-30 21:04 大米粒o 阅读(54) 评论(0) 推荐(0)
实验 6 Spark Streaming 编程初级实践
摘要：一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 阅读全文
posted @ 2021-01-30 12:03 大米粒o 阅读(2513) 评论(0) 推荐(0)
机器学习第四讲--模型提升
摘要： 阅读全文
posted @ 2021-01-29 19:30 大米粒o 阅读(34) 评论(0) 推荐(0)
TensorFlow循环神经网络
摘要：实验目的 1.了解循环神经网络的原理 2.掌握循环神经网络的操作 实验原理 RNN的网络结构及原理 RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1 阅读全文
posted @ 2021-01-28 16:55 大米粒o 阅读(91) 评论(0) 推荐(0)
机器学习第三讲--分类
摘要：学习视频：http://cookdata.cn/auditorium/course_room/10014/ 用回归解决分类 三种算法 1、感知机（Perceptron) 概念：找到一条直线，讲两类数据分开即可 2、支持向量机（Support Vector Machines) 概念：找到一条直线，不仅 阅读全文
posted @ 2021-01-28 10:49 大米粒o 阅读(204) 评论(1) 推荐(0)
实验 7 Spark 机器学习库 MLlib 编程实践
摘要：一、实验目的 （1）通过实验掌握基本的 MLLib 编程方法； （2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和 预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本 Spark 版本：2.1.0 数据集：下载 Adult 数 阅读全文
posted @ 2021-01-27 23:37 大米粒o 阅读(2270) 评论(1) 推荐(0)
机器学习第二讲--回归
摘要：学习视频：http://cookdata.cn/auditorium/course_room/10013/ 在回归模型中，需要预测的变量叫做因变量，用来解释的变量变化的变量叫做自变量； 相关性质：若A为可逆矩阵，则其逆矩阵是唯一的 是否可逆：行列式不等于0、满秩、行（或列）向量组线性无关 ..... 阅读全文
posted @ 2021-01-27 20:48 大米粒o 阅读(73) 评论(0) 推荐(0)
机器会学习么 学习总结
摘要：import pandas as pd %matplotlib inline raw_train = pd.read_csv("./input/train_sample_utf8.csv",encoding="utf8") raw_test = pd.read_csv("./input/test_s 阅读全文
posted @ 2021-01-26 11:30 大米粒o 阅读(111) 评论(0) 推荐(0)
实验 5 Spark SQL 编程初级实践
摘要：一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 数据库：MySQL 三、实 阅读全文
posted @ 2021-01-25 16:42 大米粒o 阅读(2576) 评论(0) 推荐(0)
实验 4 RDD 编程初级实践
摘要：一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数 阅读全文
posted @ 2021-01-24 13:22 大米粒o 阅读(890) 评论(0) 推荐(0)
《软件需求》阅读笔记二
摘要： 阅读全文
posted @ 2021-01-23 22:43 大米粒o 阅读(56) 评论(0) 推荐(0)
实验 3 Spark 和 Hadoop 的安装
摘要：一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：Ubuntu16.04； Spark 版本：2.1.0； Hadoop 版 阅读全文
posted @ 2021-01-22 21:48 大米粒o 阅读(975) 评论(1) 推荐(0)
实验 2 Scala 编程初级实践
摘要：一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 REPL 阅读全文
posted @ 2021-01-21 21:11 大米粒o 阅读(560) 评论(0) 推荐(0)
实验 1 Linux 系统的安装和常用命令
摘要：厦门大学林子雨，赖永炫，陶继平 编著 《Spark 编程基础（Scala 版）》 教材配套 机房上机实验指南 实验 1 Linux 系统的安装和常用命令 （版本号：2018 年 7 月 19 日版本） （题目） 主讲教师：林子雨 厦门大学数据库实验室 二零一八年七月目录 目录 一、实验目的..... 阅读全文
posted @ 2021-01-20 21:35 大米粒o 阅读(800) 评论(0) 推荐(0)
安装spark
摘要：http://dblab.xmu.edu.cn/blog/2501-2/ 根据教程安装； 安装成功； 阅读全文
posted @ 2021-01-19 21:58 大米粒o 阅读(52) 评论(0) 推荐(0)
《软件需求》阅读笔记一
摘要： 阅读全文
posted @ 2021-01-18 20:37 大米粒o 阅读(30) 评论(0) 推荐(0)
TensorFlow多层感知机
摘要：import tensorflow.compat.v1 as tf tf.disable_v2_behavior() import input_data import numpy as np import os os.environ["CUDA_VISIBLE_DEVICES"]="0" mnist 阅读全文
posted @ 2021-01-14 11:59 大米粒o 阅读(70) 评论(0) 推荐(0)
TensorFlow K近邻算法
摘要：实验目的 1.掌握使用TensorFlow进行KNN操作 2.掌握KNN 算法的原理 实验原理 knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是 阅读全文
posted @ 2021-01-14 11:38 大米粒o 阅读(93) 评论(0) 推荐(0)
TensorFlow逻辑回归
摘要：import tensorflow.compat.v1 as tf tf.disable_v2_behavior() #from tensorflow.examples.tutorials.mnist import input_data import input_data #导入实验所需的数据 mn 阅读全文
posted @ 2021-01-14 11:26 大米粒o 阅读(144) 评论(0) 推荐(0)
02.TensorFlow 线性回归
摘要：import tensorflow.compat.v1 as tf tf.disable_v2_behavior() import numpy as np import os import matplotlib.pyplot as plt os.environ["CUDA_VISIBLE_DEVIC 阅读全文
posted @ 2021-01-13 11:07 大米粒o 阅读(68) 评论(0) 推荐(0)
01.TensorFlow基本操作
摘要：运行代码： import tensorflow as tf import os os.environ["CUDA_VISIBLE_DEVICES"]="0" with tf.compat.v1.Session() as sess: a = tf.constant(2) b = tf.constant 阅读全文
posted @ 2021-01-13 10:39 大米粒o 阅读(99) 评论(0) 推荐(0)
安装Tensorflow
摘要：https://blog.csdn.net/Cs_hnu_scw/article/details/79695347 按照此步骤安装； 运行成功； 将Tensorflow环境嵌入到编辑器中 阅读全文
posted @ 2021-01-12 12:52 大米粒o 阅读(58) 评论(0) 推荐(0)
安装anaconda
摘要：在官网上面下载之后配置环境； 在用户变量的path中添加路径 没有报错即安装好； 阅读全文
posted @ 2021-01-11 17:09 大米粒o 阅读(51) 评论(0) 推荐(0)