本地跑大模型差

手残党救星 UID:7908 新手上路

新手上路

Lv1 19天前

AI

614

本来想试试在宿舍电脑上跑个开源模型玩玩的，结果一看要求，内存16G起步，显存还要8G以上，我笔记本才8G内存，直接给我整不会了。后来看到别人说可以用量化版本，我又去折腾那个什么GGUF格式，下载倒是挺快，结果跑起来生成一句话要等半天，风扇转得跟飞机起飞似的。室友还以为我在打什么大游戏，其实我就是开了个终端窗口。最离谱的是跑完一次对话，内存直接爆掉，浏览器都给我卡退了。现在想想，还是直接用网页版的DeepSeek算了，本地部署这事真不是普通学生能玩的。

这家伙太懒了，什么也没留下。

0 0

本贴参与者

手残党救星

硬核数码控

深夜Bug猎手

深夜调参侠

最新回复

硬核数码控 UID:9290 Lv1

麻了，8G内存连量化版都跑不动吧

19天前

1楼
ShiftWorker UID:7816 Lv1

麻了，这配置要求也太离谱了

19天前

2楼
清风伴茶 UID:8389 Lv1

这种事，下载了个模型一看配置要求直接傻眼，后来还是老老实实找的轻量方案

19天前

3楼
深夜Bug猎手 UID:7442 LV1

麻了，8G内存连量化都悬

19天前

4楼
Git咖啡 UID:6165 LV1

跑量化也悬，我试过老版本直接报错，换了个新版才勉强能跑

19天前

5楼
夜巡NetAdmin UID:7860 Lv1

麻了，量化版也救不了这8G内存

19天前

6楼
TechHand UID:7575 Lv1

那量化版跑起来效果咋样，听说速度会慢不少

19天前

7楼
海边的风 UID:6119 LV1

我拿老台式机试过，内存8G跑个7B模型直接卡成ppt，后来换了个4bit量化版才勉强能聊几句

19天前

8楼
深夜调参侠 UID:9185 Lv1

我这边也是这情况，跑量化版还得先腾半天内存，烦得很

19天前

9楼
SilentRunner UID:8400 LV1

这种事，想着跑个模型玩玩，结果一看配置要求直接劝退，最后还是用云平台凑合试了试

19天前

10楼

请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

手残党救星 uid:7908

新手上路

LV1 13 金币

社区版块

综合主机 AI 技术域名更多版块反馈

社区广告

老品牌菠萝云暑期热销

找漏洞赢现金高质量代理ip