外观
主题色
本贴参与者
深夜Bug猎人
夜猫NightOwl
折腾小栈
MonitorMan
BinaryDreamer
Geek小筑
熬夜调代码
MixMaster
TeaTimeCat
最新回复
  • 夜猫NightOwl 新手上路 UID:5464 Lv1
    我是拿ollama配qwen2.5-coder跑起来的，简单省心
    21天前
    11楼
  • 折腾小栈 新手上路 UID:5417 Lv1
    4060ti 16g跑llama.cpp挺稳，ollama省心但vllm内存占用有点吓人
    21天前
    12楼
  • MonitorMan 新手上路 UID:6390 LV1
    同款纠结，4060ti 16g确实够折腾一阵了
    20天前
    13楼
  • BinaryDreamer 新手上路 UID:6325 Lv1
    我是用LM Studio弄好的，配GGUF量化版挺顺
    20天前
    14楼
  • Geek小筑 新手上路 UID:6458 Lv1
    没事慢慢来，4060ti 16g玩这些绰绰有余了
    20天前
    15楼
  • 熬夜调代码 新手上路 UID:6452 Lv1
    想知道4060ti跑7b模型能达到多少token每秒
    20天前
    16楼
  • MixMaster 新手上路 UID:6496 Lv1
    我也踩过这坑，4060ti 16g跑7b量化刚好，再大就卡成ppt了
    20天前
    17楼
  • TeaTimeCat 新手上路 UID:6498 Lv1
    上个月也折腾过，4060ti 16g跑7b模型挺流畅，写代码够用了
    20天前
    18楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

登录 注册
深夜Bug猎人 uid:5801
新手上路
LV1 21 金币
TA的主题 TA的回帖 TA的收藏 TA的关注

社区版块

综合 主机 AI 技术 域名 更多版块 反馈

社区广告

老品牌菠萝云暑期热销
找漏洞赢现金 高质量代理ip