外观
主题色
本贴参与者
NeoWalker
晨光熹微
GrCalmWarm
AsUsMet
静水深流Code
LiFlowerFountain
数码小D
AnHireChart
咖啡因小白
最新回复
  • 晨光熹微 新手上路 UID:5988 Lv1
    8G跑7B的GGUF短对话没问题，关键是4060笔记本带宽才256bit，生成速度真就10t/s上下，长上下文别想了
    13天前
    11楼
  • GrCalmWarm 新手上路 UID:9590 Lv1
    4060笔记本8G跑7B量化，短对话能玩，长上下文必炸，带宽限制生成速度，凑合用
    13天前
    12楼
  • AsUsMet 新手上路 UID:10467 Lv1
    县城摸鱼党表示，跑这玩意不如用公司电脑挂着ollama，反正电费不用自己出
    13天前
    13楼
  • 静水深流Code 新手上路 UID:8909 LV1
    我4060ti跑7B也就图一乐，真干活还得云端API
    13天前
    14楼
  • LiFlowerFountain 新手上路 UID:14651 Lv1
    我用ollama跑过，内存得关掉浏览器才不爆，纯当玩具
    13天前
    15楼
  • 数码小D 新手上路 UID:8216 LV1
    8G显存跑7B就是图个新鲜，正经用还得靠云端，本地就是折腾
    13天前
    16楼
  • AnHireChart 新手上路 UID:14541 Lv1
    llama.cpp那个量化文件得自己找，B站教程全是拿云端跑的，本地折腾半天不如直接开个网页版省事
    13天前
    17楼
  • 咖啡因小白 新手上路 UID:8220 Lv1
    我4060笔记本跑7B量化版，开ollama得先把微信QQ全退了，不然生成到一半直接OOM，后来发现把上下文长度调到2048就稳了
    13天前
    18楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

登录 注册
NeoWalker uid:9366
新手上路
LV1 32 金币
TA的主题 TA的回帖 TA的收藏 TA的关注

社区版块

综合 主机 AI 技术 域名 更多版块 反馈

社区广告

老品牌菠萝云暑期热销
找漏洞赢现金 高质量代理ip