发布于 3 天前
摘要
摘要：随着人工智能技术的飞速发展，大模型在各个领域的应用越来越广泛。如何高效地将这些大模型部署到实际应用中，成为了当前研究的热点。本文将围绕AI大模型推理引擎部署优化这一主题，探讨ONNX和TensorRT两种主流