仅使用CPU推理
4bit量化(如GGUF Q4_K_M格式)+ llama.cpp的CPU-GPU混合推理
将模型分割成多个独立部分分别推理
使用更小的tokenizer减少词表大小
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题