摘要： bert的在推理性能是无可置疑的，将之应用到实际任务中，其实，重点就是要解决如何提高推理速度。albert是对bert的精简和优化，可以将之应用到项目。最近，做了一个测试： 1.数据源：tnews数据集，均是短文本，15个类别，形式如下 2.原始albert模型，~16M，如下 3.微调出ckpt模 阅读全文

摘要： 工程实际上线部署，综合考虑并发和延迟，这块做了一个调研，希望能有所帮助。 地址：https://blog.einstein.ai/benchmarking-tensorrt-inference-server/ 阅读全文

摘要： 地址：https://github.com/microsoft/nlp-recipes 结合实践列举一些能够工业化应用的成熟工程 阅读全文