发布于 7 天前
摘要
摘要：随着人工智能技术的飞速发展，大模型在自然语言处理、计算机视觉等领域展现出强大的能力。大模型的计算量和存储需求也给实际应用带来了挑战。本文将围绕LLaMA大模型，探讨4-bit/8-bit量化技术在量化部署中的