摘要：
在 Windows 上启动 Flask 项目时，工作目录有 UTF-8 编码的 .env 文件，里面配置的环境变量在 Python2 中识别为 Unicode 类型，导致下述错误： 遇到这种情况，只需对 werkzeug 项目做个小的修改即可。Diff 文件如下所示： 阅读全文
posted @ 2018-11-25 10:49
玉龙gg
阅读(2395)
评论(0)
推荐(0)
摘要：
在 Linux 主机上配置了很多次 Cuda/CuDNN 的运行环境，在此记录下用到的脚本命令以复用。 特别提醒，先了解清楚 GPU 卡的型号，查清与主机 Linux 内核兼容的驱动程序、Cuda 和 CuDNN 的发行版。 请以 root 权限执行本文的所有 bash 命令。 1. NVIDIA 阅读全文
posted @ 2018-10-01 19:06
玉龙gg
阅读(2330)
评论(0)
推荐(0)
摘要：
最近在做一些性能测试的事情，首要前提是控制住 CPU 的使用量。最直观的方法无疑是安装 Docker，在每个配置了参数的容器里运行基准程序。 对于计算密集型任务，在只限制 CPU 的需求下，直接用 Linux 原生的 cgroup 功能来限制 CPU 使用无疑是最方便的。 本文简要说明如何使用 cg 阅读全文
posted @ 2018-10-01 17:34
玉龙gg
阅读(15679)
评论(0)
推荐(0)
摘要：
PostOffice 类 Van 类 阅读全文
posted @ 2018-09-25 15:09
玉龙gg
阅读(802)
评论(0)
推荐(0)
摘要：
本文讲解的 PS Lite 源码版本限定如下： GitHub: https://github.com/dmlc/ps-lite/tree/master Commit: f45e2e78a7430be09f76264d2f4073fb2b1d54a2 角色 PS Lite 实现了一种轻量级的参数服务器 阅读全文
posted @ 2018-09-25 10:49
玉龙gg
阅读(1103)
评论(0)
推荐(0)
摘要：
快速开始 本文描述了如何用 Yarn 服务框架在 Yarn 上部署服务。 配置和启动 HDFS 和 Yarn 组件 首先启动 HDFS 和 Yarn 的各个组件。为启用 Yarn 服务框架，添加以下参数到 yarn-site.xml 文件中并重启 ResourceManager，或在 Resourc 阅读全文
posted @ 2018-09-16 19:09
玉龙gg
阅读(902)
评论(0)
推荐(0)
摘要：
YARN 服务 总览 Yarn 服务框架为在 Yarn 原生环境里长时间运行的服务，提供了一流的支持和接口。简言之，它扮演了容器编排系统的角色，统一管理 Yarn 上运行的容器化服务。它同时支持 Docker 容器和传统基于进程的 Yarn 容器。 本框架的职责包括配置实现和挂载，生命周期管理，如在 阅读全文
posted @ 2018-09-16 18:16
玉龙gg
阅读(1473)
评论(0)
推荐(0)
摘要：
在 Yarn 上使用 CGroups CGroups 是一种将任务及其子任务聚集和划分进一个垂直的分组的策略，并提供在此结构上的特别的操作。CGroups 是 Linux 内核功能，自内核版本 2.6.24 被引入。从 Yarn 角度，该功能使得限额容器的资源使用成为可能。一个示例是 CPU 使用， 阅读全文
posted @ 2018-09-16 11:30
玉龙gg
阅读(2528)
评论(0)
推荐(0)
摘要：
在 Yarn 上使用 FPGA 前提 YARN 目前只支持通过 IntelFpgaOpenclPlugin 发布的 FPGA 资源 YARN NodeManager 所在的机器上必须预先安装供应商的驱动程序并配置好必需的环境变量。 Docker 容器尚不支持。 配置 FPGA 调度 在 resour 阅读全文
posted @ 2018-09-16 09:55
玉龙gg
阅读(1101)
评论(0)
推荐(0)
摘要：
在 Yarn 上使用 GPU 前提 目前，Yarn 只支持 Nvidia GPU。 YARN NodeManager 所在机器必须预先安装了 Nvidia 驱动器。 如果使用 Docker 作为容器的运行时上下文，需要安装 nvidia-docker 1.0（这是 Yarn 当前所能支持的版本）。 阅读全文
posted @ 2018-09-16 08:27
玉龙gg
阅读(5668)
评论(1)
推荐(1)
浙公网安备 33010602011771号