华为苏黎世实验室开源新技术，让大模型可在消费级GPU上运行

华为苏黎世计算系统实验室发布开源量化方法SINQ，可将大型语言模型内存需求降低70%，使原需A100等企业级GPU的工作负载能在RTX 4090等消费级显卡运行，精度接近数据校准方法，已在GitHub和Hugging Face免费商用。