发布于 2025-07-12
摘要
摘要：随着自然语言处理（NLP）技术的飞速发展，大模型在各个领域展现出强大的能力。大模型的计算成本和存储需求也日益增加，限制了其在资源受限设备上的应用。知识蒸馏技术作为一种轻量化模型压缩方法，通过将大模型的知识迁移