首页 > 试题广场 >

以下哪种技术能够在不修改基础模型权重的情况下,将LLM部署到

[单选题]
以下哪种技术能够在不修改基础模型权重的情况下,将LLM部署到消费级GPU(8GB显存)上运行13B参数模型?
  • 仅使用CPU推理
  • 4bit量化(如GGUF Q4_K_M格式)+ llama.cpp的CPU-GPU混合推理
  • 将模型分割成多个独立部分分别推理
  • 使用更小的tokenizer减少词表大小

这道题你会答吗?花几分钟告诉大家答案吧!