摘要: runtime系统的Cello 通过充当一个现代的、功能强大的runtime系统,Cello使许多以前在C中不切实际或笨拙的事情变得简单,例如: 通用数据结构 多态函数 接口/类型类 构造函数/析构函数 可选垃圾回收 例外情况 反思 而且,由于Cello与标准C无缝地协同工作,所以您可以获得其他所有 阅读全文
posted @ 2020-11-28 17:54 吴建明wujianming 阅读(192) 评论(0) 推荐(0)
摘要: 用户自定义协议client/server代码示例 代码参考链接:https://github.com/sogou/workflow message.h message.cc server.cc client.cc 关于user_defined_protocol 本示例设计一个简单的通信协议,并在协议 阅读全文
posted @ 2020-11-28 17:26 吴建明wujianming 阅读(362) 评论(0) 推荐(0)
摘要: 使用TensorRT集成推理inference 使用TensorRT集成进行推理测试。 使用ResNet50模型对每个GPU进行推理,并对其它模型进行性能比较,最后与其它服务器进行比较测试。 ResNet-50 Inference performance: Throughput vs Batch s 阅读全文
posted @ 2020-11-28 09:44 吴建明wujianming 阅读(1094) 评论(0) 推荐(0)
摘要: Abstract 本cuDNN 8.0.4开发人员指南概述了cuDNN功能,如可自定义的数据布局、支持灵活的dimension ordering,striding,4D张量的子区域,这些张量用作其所有例程的输入和输出。这种灵活性可简单集成到任何神经网络实现中。 要访问cuDNN API参考,请参阅c 阅读全文
posted @ 2020-11-28 09:04 吴建明wujianming 阅读(2171) 评论(0) 推荐(1)
摘要: TVM源码框架安装方法 本文提供如何在各种系统上从零构建和安装TVM包的说明。它包括两个步骤: 首先从C++代码中构建共享库(linux的libtvm.so,macOS的libtvm.dylib和windows的libtvm.dll)。 编程语言包的设置(例如Python包)。 实现,请从下载页面下 阅读全文
posted @ 2020-11-28 07:06 吴建明wujianming 阅读(795) 评论(0) 推荐(0)