ZacksTang

摘要： 分类问题 在机器学习中，主要有两大类问题，分别是分类和回归。下面我们先主讲分类问题。 MINST 这里我们会用MINST数据集，也就是众所周知的手写数字集，机器学习中的 Hello World。sk-learn 提供了用于直接下载此数据集的方法： from sklearn.datasets impo 阅读全文

摘要： 模型微调 假设我们现在已经有了几个效果还不错的模型，接下来我们要对它们进行调优。下面我们介绍几种调优的方法。 网格搜索 第一个方法是通过手动调整超参数，直到发现一组使模型表现良好的超参数。这个是一个很耗时的工作，手动调整的话，可能没有这么多时间探索这些超参数组合。 不过在sk-learn 中提供了G 阅读全文

摘要： 选择并训练模型 至此，我们已明确了问题，并对数据进行了预处理。现在我们选择并训练一个机器学习模型。 在训练集上训练模型 这个过程相对来说较为简单，我们首先训练一个线性回归模型： from sklearn.linear_model import LinearRegression lin_reg = L 阅读全文

摘要： 为机器学习准备数据 下面我们开始为机器学习算法准备数据，首先我们将训练集中的 label（也就是median_house_value）分出来： housing = strat_train_set.drop('median_house_value', axis=1) housing_labels = 阅读全文

摘要： 探索并可视化数据 到目前为止我们已经大致浏览了数据集，我们下一步的目标是更深入的了解数据集。 首先，我们要将测试集放在一边，确保我们仅浏览训练集。当然，如果训练集特别大的话，我们可能需要对它进行采样，获取它的一个小样本集进行研究。在我们的这个例子中，这个数据集非常小，所以我们可以直接在整个训练集上进 阅读全文

摘要： 机器学习项目流程 在这我们会从头开始做一个机器学习项目，向大家展示一个机器学习项目的一个基本流程与方法。一个机器学习主要分为以下几个步骤： 从整体上了解项目 获取数据 发现并可视化数据，以深入了解数据 为机器学习算法准备数据 选择模型并训练 模型调优 展示解决方案 部署、监控、以及维护我们的系统 我 阅读全文

摘要： 1. 术语 在 ElasticSearch 中，存入一个文件的动作称为索引（indexing）。对比传统关系型数据库，ElasticSearch中的类比为： Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch - 阅读全文

摘要： Docker Image 我们介绍一下如何构造一个自定义的 Docker Image。在Docker 中，我们使用Dokcerfile 构建一个docker的描述。 首先我们定义一下需要启动一个什么应用，以 web app 为例，我们有以下需求： 操作系统：centos 更新软件：yum -y up 阅读全文

摘要： Docker 基础 为什么需要docker？在传统部署下，我们会遇到不同机器、不同依赖版本的兼容性等问题，解决此问题一般会消耗大量时间，并且在不同机器上均要执行统一环境的部署也是一个耗时较长的工作。除此之外、还包括例如管理Dev/Test/Prod等不同环境的成本。为了解决这些问题，Docker应运 阅读全文

摘要： Apache Hudi Apache Hudi 在基于 HDFS/S3 数据存储之上，提供了两种流原语： 插入更新 增量拉取 一般来说，我们会将大量数据存储到HDFS/S3，新数据增量写入，而旧数据鲜有改动，特别是在经过数据清洗，放入数据仓库的场景。而且在数据仓库如 hive中，对于update的支 阅读全文