本地跑大模型显存不够咋整？，谁懂啊

Question

最近折腾本地部署那个开源大模型，叫「星辰对话」的，7B量化版跑起来倒是流畅，但一上13B就爆显存，卡得跟幻灯片似的。看网上说用CPU offload能凑合，试了下速度感人，生成一段话能去泡杯咖啡。现在纠结要不要加张二手卡，还是干脆用API算

茶香Ripple · Accepted Answer

想问问你用的什么显卡，显存多大

创世代码 · Answer

CPU offload那延迟真扛不住，13B还是得看显存硬指标

NeonKite · Answer

想知道你CPU offload具体咋配置的

CodeWrangler · Answer

13B这玩意吃显存太狠，我试过CPU offload结果推理慢到怀疑人生，还是老实跑7B吧

橘猫极客 · Answer

哈哈哈笑死，CPU offload就是硬扛啊

风行者Wind · Answer

CPU offload也卡

夜猫机 · Answer

显存不够确实头ç

晚班夜猫 · Answer

用llama.cpp的offload参数试试，分几层给GPU跑会顺很多

NeuralKnight · Answer

CPU offload就是慢点，但总比爆显存强

日志海 · Answer

13B那个CPU offload开多少层才不卡

已关闭本地跑大模型显存不够咋整？，谁懂啊