大数据与人工智能 - 随笔分类(第10页) - JackYang

反向传播神经网络中的非线性激活函数-AI快速进阶系列

摘要：1.简介在本教程中，我们将研究反向传播算法和其他学习过程中最常用的非线性激活函数。导致使用非线性函数的原因已在上一篇文章中进行了分析。 2.前馈神经网络反向传播算法在完全互连的前馈神经网络（FFNN）中运行：具有以下结构的单元：该函数执行输入加权和的转换：我们将在线性模型文章中更详细地讨阅读全文

posted @ 2023-02-18 20:01 JackYang 阅读(321) 评论(0) 推荐(0)

什么是交叉熵-AI快速进阶系列

摘要：1. 概述在本教程中，我们将研究机器学习交叉熵的定义。我们将首先讨论信息论中的熵的概念及其与监督学习的关系。然后，我们将看到如何从单变量分布中的熵定义中推导出二元分布中的交叉熵。这将使我们很好地理解一个如何概括另一个。最后，我们将看到如何使用交叉熵作为损失函数，以及如何通过梯度下降来优化模型阅读全文

posted @ 2023-02-18 00:13 JackYang 阅读(384) 评论(1) 推荐(0)

机器学习模型的损失和准确性解释-AI快速进阶系列

摘要：1. 简介使用机器学习时，我们有不同的指标来告诉我们模型的表现如何。但是，这些措施可能会混淆它们的含义、如何解释或它们究竟是什么。知道了这一点，我们可以推断出更多关于我们模型的信息。在本教程中，我们将重点介绍损失和准确性。它们都是训练模型时要考虑的基本值。 2. 损失损失是一个值，表示模型中误阅读全文

posted @ 2023-02-17 20:40 JackYang 阅读(801) 评论(0) 推荐(0)

生成对抗网络：判别器损失和生成器损失-AI快速进阶系列

摘要：1. 简介在本教程中，我们将讨论生成对抗网络（GAN），一种无监督的深度学习方法。主要，我们将介绍构成 GAN 的两个主要模型的架构，即生成器和鉴别器模型。我们还将通过它们的损失函数分析两个模型之间的主导行为。 2. 生成对抗网络 GAN是一个机器学习框架，由Ian J. Goodfellow于2 阅读全文

posted @ 2023-02-17 17:41 JackYang 阅读(2823) 评论(0) 推荐(0)

生成对抗网络-AI快速进阶系列

摘要：1. 概述在本教程中，我们将介绍生成对抗网络（GAN）。首先，我们将介绍术语生成模型及其分类法。然后，将描述GAN的架构和训练管道，并附有详细示例。最后，我们将讨论GAN的挑战和应用。 2. 生成模型在机器学习中，有两种主要的学习类型: 在监督学习中，我们被给予自变量X和相应的标签Y，我们的阅读全文

posted @ 2023-02-17 17:40 JackYang 阅读(210) 评论(0) 推荐(0)

蒙特卡洛树-AI快速进阶系列

摘要：1. 概述在本文中，我们将探讨蒙特卡罗树搜索（MCTS）算法及其应用。我们将通过在Java 中实现井字游戏来详细研究它的阶段。我们将设计一个通用解决方案，该解决方案可用于许多其他实际应用，只需进行最少的更改。 2. 简介简单地说，蒙特卡罗树搜索是一种概率搜索算法。它是一种独特的决策算法，因阅读全文

posted @ 2023-02-17 17:14 JackYang 阅读(477) 评论(0) 推荐(0)

监督、半监督、无监督和强化学习简介-AI快速进阶系列

摘要：1. 概述机器学习包括应用数学和统计方法让机器从数据中学习。它由四大技术家族组成：监督学习半监督学习无监督学习强化学习在本文中，我们将探讨机器学习的目的以及何时应该使用特定技术。因此，我们将根据简单的示例了解它们的工作原理。 2. 监督学习监督学习是一种由向机器学习模型提供标记数据组成阅读全文

posted @ 2023-02-17 16:52 JackYang 阅读(1235) 评论(2) 推荐(1)

使用 GAN 进行数据增强-AI快速进阶系列

摘要：1. 概述在本教程中，我们将讨论使用生成对抗网络（GAN）进行数据增强。首先，我们将介绍数据增强和 GAN，然后我们将介绍一个能够生成非常逼真的样本的 GAN 架构。 2. 数据增强深度学习彻底改变了许多领域，并已成为许多复杂任务（如文本翻译、图像分割和自动语音识别）的最新方法。大型注释数据阅读全文

posted @ 2023-02-17 16:42 JackYang 阅读(2499) 评论(0) 推荐(0)

卷积神经网络简介-AI快速进阶系列

摘要：1. 概述在本教程中，我们将研究卷积神经网络背后的理论及其架构。我们将首先讨论通常使用卷积神经网络（CNN）执行的任务和特征提取问题。然后，我们将讨论为什么需要CNN，以及为什么传统的前馈神经网络是不够的。然后，我们将在矩阵运算的上下文中讨论卷积的操作。这将使我们很好地理解卷积神经网络的运阅读全文

posted @ 2023-02-15 17:08 JackYang 阅读(212) 评论(1) 推荐(1)

Apache Flink快速入门-Flink内存优化

摘要：设置Flink 的进程内存 Apache Flink 通过严格控制其各种组件的内存使用情况，在 JVM 之上提供高效的工作负载。Flink本身开箱即用时具备为所有配置提供合理的默认值，同时也为我们用户预留了性能调优入口配置接口，Flink 允许对集群内的内存分配进行高级和细粒度的调整。以下的内存配阅读全文

posted @ 2021-08-09 18:43 JackYang 阅读(616) 评论(0) 推荐(0)

Apache Flink快速入门-如何在Kubernetes 上部署 Flink

摘要：Flink集群搭建 Kubernetes（k8s）由Google创建，现已成为最受欢迎的开源编排系统，用于管理多个主机容器化应用，提供了为分布式系统构建和部署可伸缩且可靠的应用程序所需的机制。我们正处在一个时代，服务的正常运行时间必须接近99.9％，要实现这一点，就必须拥有一种机制，即使存在系统崩溃阅读全文

posted @ 2021-08-09 18:32 JackYang 阅读(1226) 评论(0) 推荐(0)

Apache Flink快速入门-部署前要了解内容

摘要：Flink 是一个多功能框架，以混搭方式支持许多不同的部署场景。下面我们简要解释 Flink 集群的构建块、它们的用途和可用的实现。如果你只是想在本地启动 Flink，我们建议设置一个Standalone Cluster。概述和参考架构下图展示了每个 Flink 集群的构建块。客户端获取 Fl 阅读全文

posted @ 2021-08-09 18:09 JackYang 阅读(325) 评论(0) 推荐(0)

Apache Flink快速入门-本地快速安装

摘要：按照以下几个步骤下载最新的稳定版本并开始使用。第 1 步：下载为了能够运行 Flink，唯一的要求是安装了Java 8 或 11。您可以通过发出以下命令来检查 Java 的正确安装： java -version 下载1.13.0 版本并解压缩它。 $ tar -xzf flink-1.13.0- 阅读全文

posted @ 2021-08-09 17:54 JackYang 阅读(153) 评论(0) 推荐(0)

Apache Flink快速入门-Apache Flink前世今生

摘要：Flink 的前世 2010 年德国研究中心联合柏林工业大学、柏林洪堡大学和波兹坦大学共同发起的研究项目：Stratosphere 。Flink 的前身是项目中的分布式引擎部分。 Flink 的今生 2014 年 3 月 Flink 成为 Apache 孵化器项目 2014 年 dataArtisa 阅读全文

posted @ 2021-08-09 17:50 JackYang 阅读(115) 评论(0) 推荐(0)

Apache Flink快速入门-什么是Apache Flink

摘要：前言在数字化时代，企业每天都在面对持续不断增长的数据需要处理，这些数据可能来自IOT、移动或 Web 应用程序生成的采集温度、流量、定位、跟踪、监管、日志文件、网上购物数据、游戏玩家活动、社交网站信息或者是金融交易等。能够及时地处理并分析这些流数据对企业来说至关重要。传统的批处理拥有巨大吞吐量的优阅读全文

posted @ 2021-08-09 17:33 JackYang 阅读(184) 评论(0) 推荐(0)

HBase 架构：HBase 数据模型和 HBase 读/写机制

摘要：HBase 架构：HBase 数据模型众所周知，HBase是一个面向列的NoSQL数据库。虽然它看起来类似于包含行和列的关系数据库，但它不是关系数据库。关系数据库是面向行的，而 HBase 是面向列的。因此，让我们首先了解面向列的数据库和面向行的数据库之间的区别：面向行的数据库与面向列的数据库：阅读全文

posted @ 2014-09-18 16:32 JackYang 阅读(4110) 评论(1) 推荐(0)

Apache Hadoop HDFS 架构

摘要：HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。是一个块结构的文件系统，其中每个文件被划分为预定大小的块。这些块存储在一台或多台计算机的集群中。 HDFS可以部署在支持阅读全文

posted @ 2014-09-18 14:17 JackYang 阅读(2744) 评论(0) 推荐(0)

Spark源代码分析——谈RDD和依赖关系

摘要：我们知道RDD在Spark中是一个特别重要的概念。可以说，Spark的所有逻辑都需要依赖RDD。在本文中，我们简要讨论了Spark中的RDD。Spark中RDD的定义如下： abstract class RDD[T: ClassTag]( @transient private var _sc: Sp 阅读全文

posted @ 2014-09-18 13:51 JackYang 阅读(3292) 评论(0) 推荐(0)

Spark 高级：RDD 使用

摘要：Spark 提供了数据的核心抽象，称为弹性分布式数据集（RDD）。此数据集的全部或部分可以缓存在内存中，并在多次计算期间重复使用。RDD实际上是一个分布在多个节点上的数据集。 RDD的主要特点如下： RDD是不可变的，但它可以转换为新的RDD进行操作。 RDD 已分区。RDD 由许多分区组成，每个阅读全文

posted @ 2014-09-18 13:31 JackYang 阅读(3713) 评论(0) 推荐(0)

什么是Apache Spark

摘要：Apache Spark 是一个闪电般的开源数据处理引擎，用于机器学习和人工智能应用程序，由最大的大数据开源社区提供支持。什么是Apache Spark？ Apache Spark（Spark）是一个用于大型数据集的开源数据处理引擎。它旨在提供大数据所需的计算速度、可扩展性和可编程性，特别是流数据阅读全文

posted @ 2014-09-18 11:42 JackYang 阅读(3110) 评论(0) 推荐(0)

随笔分类 - 大数据与人工智能