摘要：现在算法行业有这样几类从业者： 训练阶段： 提升算法精度的，工作职责就是紧跟最新研究工作，从论文中复现模型，用于自己公司的数据上，并调整模型结构、参数，让其更适用于自己公司的数据集。这类工作的招聘要求，大概有熟悉CV、NLP等领域内的算法，熟悉tensorflow、pytorch等框架，能熟练阅读论 阅读全文

摘要：tensorrt 和tvm都是用于训练后模型的部署的，它们能够多模型进行量化、算子融合等，使模型运行更快。 如果采用GPU硬件平台，一般会使用TensorRT方式部署，因为TensorRT能够充分发挥GPU平台的性能，同时也做了很多的优化（算子融合，量化等），所以在性能上有比较大的优势。不过，Ten 阅读全文

摘要：pix2seq: https://arxiv.org/pdf/2109.10852.pdf DERT: https://arxiv.org/pdf/2005.12872.pdf ViT: https://arxiv.org/pdf/2010.11929.pdf MAE: https://arxiv. 阅读全文

摘要：KFServing 对 Seldon Core 的 DAG 推理图进行了简化。KFServing 只支持 Transformer，Predicator。在实现上，KFServing 因为进行了简化，所以不再需要 Seldon Core 中的 Engine 这一角色。请求在 Transformer 和 阅读全文

摘要：kserve是为了解决训练过后的模型，如何上线服务的问题。其实，各大深度学习平台也注意到训练到上线服务这个gap，所以tensorflow、pytorch对应出了 TFServing、torchserve， nvidia出了triton。这些推理平台满足了基本的推理服务上线要求，而 kserve依托 阅读全文

摘要：pix2seq: https://arxiv.org/pdf/2109.10852.pdf DERT: https://arxiv.org/pdf/2005.12872.pdf ViT: https://arxiv.org/pdf/2010.11929.pdf MAE: https://arxiv. 阅读全文

摘要：随着深度学习模型越来越大，训练模型需要的GPU越来越多，对于Google、Fackbook来说，不差钱，但是对于很多资金紧张的团队来说，训练大模型的花费变得负担不起。 为了解决这个问题，”模型内存优化“技术开始展露头角，该技术致力于减少模型训练时占据的显存，并极力缩小由此带来的时间开销。 其实在推理 阅读全文