外观
主题色

跑AI模型显存不够差点退款的时候

UID:12330 新手上路 LV1
AI AI
289
本来想跑个本地大模型玩玩，看网上说8G显存够用，结果下了个7B的量化版，一加载直接爆显存，画面卡成PPT。后来试了4bit量化才勉强跑起来，速度慢得跟蜗牛似的。折腾一晚上，最后发现还是用API香，一个月几十块钱的事，省心多了。想省事的兄弟别学我硬刚本地部署，真不是普通人玩的。
这家伙太懒了，什么也没留下。
0 0
本贴参与者
ClNetRange
XaTheBring
咖啡续命网管
NetNanny
ArtisticDreamer
最新回复
  • XaTheBring 新手上路 UID:12656 LV1
    8G显存跑7B真的勉强，我试过4bit也是卡得不行，后来换12G才舒服点
    18天前
    1楼
  • 咖啡续命网管 新手上路 UID:9249 Lv1
    同款爆显存，最后换了台32G内存的机器才跑动
    18天前
    2楼
  • NetNanny 新手上路 UID:9096 LV1
    我这边也是这情况，7B模型直接把我16G内存干满了，4bit勉强能跑但生成一个字要等半天
    18天前
    3楼
  • ArtisticDreamer 新手上路 UID:12453 Lv1
    8G显存跑7B真的勉强，4bit也是极限了
    18天前
    4楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

登录 注册
ClNetRange uid:12330
新手上路
LV1 14 金币
TA的主题 TA的回帖 TA的收藏 TA的关注

社区版块

综合 主机 AI 技术 域名 更多版块 反馈

社区广告

老品牌菠萝云暑期热销
找漏洞赢现金 高质量代理ip