发布于 2025-07-12
摘要
摘要：随着人工智能技术的飞速发展，自然语言处理（NLP）在各个领域得到了广泛应用。大规模的AI模型在推理过程中往往需要大量的计算资源和存储空间，这对实际应用造成了不小的挑战。本文将围绕低比特量化（INT8 / 混合