09 2018 档案

PS Lite - 源码解读
摘要：PostOffice 类 Van 类 阅读全文
posted @ 2018-09-25 15:09 玉龙gg 阅读(810) 评论(0) 推荐(0)
PS Lite 笔记
摘要：本文讲解的 PS Lite 源码版本限定如下： GitHub: https://github.com/dmlc/ps-lite/tree/master Commit: f45e2e78a7430be09f76264d2f4073fb2b1d54a2 角色 PS Lite 实现了一种轻量级的参数服务器 阅读全文
posted @ 2018-09-25 10:49 玉龙gg 阅读(1115) 评论(0) 推荐(0)
Hadoop 3.1.1 - Yarn 服务 - 快速开始
摘要：快速开始 本文描述了如何用 Yarn 服务框架在 Yarn 上部署服务。 配置和启动 HDFS 和 Yarn 组件 首先启动 HDFS 和 Yarn 的各个组件。为启用 Yarn 服务框架，添加以下参数到 yarn-site.xml 文件中并重启 ResourceManager，或在 Resourc 阅读全文
posted @ 2018-09-16 19:09 玉龙gg 阅读(926) 评论(0) 推荐(0)
Hadoop 3.1.1 - Yarn 服务 - 总览
摘要：YARN 服务 总览 Yarn 服务框架为在 Yarn 原生环境里长时间运行的服务，提供了一流的支持和接口。简言之，它扮演了容器编排系统的角色，统一管理 Yarn 上运行的容器化服务。它同时支持 Docker 容器和传统基于进程的 Yarn 容器。 本框架的职责包括配置实现和挂载，生命周期管理，如在 阅读全文
posted @ 2018-09-16 18:16 玉龙gg 阅读(1478) 评论(0) 推荐(0)
Hadoop 3.1.1 - Yarn - 使用 CGroups
摘要：在 Yarn 上使用 CGroups CGroups 是一种将任务及其子任务聚集和划分进一个垂直的分组的策略，并提供在此结构上的特别的操作。CGroups 是 Linux 内核功能，自内核版本 2.6.24 被引入。从 Yarn 角度，该功能使得限额容器的资源使用成为可能。一个示例是 CPU 使用， 阅读全文
posted @ 2018-09-16 11:30 玉龙gg 阅读(2563) 评论(0) 推荐(0)
Hadoop 3.1.1 - Yarn - 使用 FPGA
摘要：在 Yarn 上使用 FPGA 前提 YARN 目前只支持通过 IntelFpgaOpenclPlugin 发布的 FPGA 资源 YARN NodeManager 所在的机器上必须预先安装供应商的驱动程序并配置好必需的环境变量。 Docker 容器尚不支持。 配置 FPGA 调度 在 resour 阅读全文
posted @ 2018-09-16 09:55 玉龙gg 阅读(1116) 评论(0) 推荐(0)
Hadoop 3.1.1 - Yarn - 使用 GPU
摘要：在 Yarn 上使用 GPU 前提 目前，Yarn 只支持 Nvidia GPU。 YARN NodeManager 所在机器必须预先安装了 Nvidia 驱动器。 如果使用 Docker 作为容器的运行时上下文，需要安装 nvidia-docker 1.0（这是 Yarn 当前所能支持的版本）。 阅读全文
posted @ 2018-09-16 08:27 玉龙gg 阅读(5705) 评论(1) 推荐(1)
Hadoop 3.1.1 - 概述 - 集群安装
摘要：Hadoop 集群安装 目标 本文描述了如何从少数节点到包含上千节点的大规模集群上安装和配置 Hadoop 集群。如果只是为了尝试，你可以先从单台机器上安装开始（参阅单节点安装）。 本文并不包含诸如安全和高可用等高级话题。 Hadoop 集群安装 目标 本文描述了如何从少数节点到包含上千节点的大规模 阅读全文
posted @ 2018-09-13 16:03 玉龙gg 阅读(740) 评论(0) 推荐(0)
Hadoop 3.1.1 - 概述 - 单节点安装
摘要：Hadoop: 单节点安装 目标 本文描述了如何安装和配置单机的 Hadoop，这样你可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统（HDFS）快速地尝试简单的操作。 Hadoop: 单节点安装 目标 本文描述了如何安装和配置单机的 Hadoop，这样你可以使用 Had 阅读全文
posted @ 2018-09-12 15:53 玉龙gg 阅读(2334) 评论(0) 推荐(0)
Hadoop 3.1.1 - 概述 - 总览
摘要：Apache Hadoop 3.1.1 和之前发布的 3.0.X 版本线相比，Apache Hadoop 3.1.1 吸收了许多重要的改进。 总览 建议用户阅读完整的版本说明。本文提供了对主要变动的总览。 以下是对主要功能和改进的简短描述。 Yarn Service 框架为在 Yarn 原生环境里长 阅读全文
posted @ 2018-09-12 15:22 玉龙gg 阅读(991) 评论(0) 推荐(0)