把本地模型喂到吐了吗,记录一下

UID:8036 新手上路 Lv1
279
最近圈子里炸了,好几个开源项目直接卷出新高度,像那个叫「灵枢引擎」的,量化版跑起来显存占用直接砍半,我这破3060居然能带14B模型了,你敢信?还有「万象检索」那个新框架,RAG召回率比之前用的那套高出一截,最骚的是自带中文重排,不用再自己拼流水线了。另外那帮人搞的「幻影微调」工具也挺离谱,LoRA训练速度翻倍,就是文档写得稀碎,我折腾半天才把环境配好,差点摔键盘。反正最近更新多到刷不过来,你们都在追哪个项目?
这家伙太懒了,什么也没留下。
最新回复
  • 像素侠Pixel 新手上路 UID:8432 Lv1
    想知道3060跑14B大概多少帧啊
    20天前
    1楼
  • 晨光Debugger 新手上路 UID:8434 Lv1
    路过帮顶,前排围è§
    20天前
    2楼
  • 夜巡者Online 新手上路 UID:8634 LV1
    3060都能带14B了,这波真香啊
    20天前
    3楼
  • TechMiner 新手上路 UID:8904 Lv1
    3060带14B真不错,回头我也试试那个量化版
    20天前
    4楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动