AREX Feed Article
Unsloth 开放 Muse Glimmer 30B 免费微调,24GB 显存本地可训
8 月 13 日,Unsloth AI 在 X 上开放 Meta Muse Glimmer 30B 的免费微调,配套 notebook 同时支持 GRPO 强化学习训练。推文开篇写道:"You can now fine-tune Meta Muse Glimmer 30B for free!"(现在可以免费微调 Meta 的 Muse Glimmer 30B 了)。
按 Unsloth 的说法,其方案相比 FA2(FlashAttention 2)训练设置快 1.5×、显存占用少 50%,并能在 24GB 显存的本地硬件上完成训练。
Muse Glimmer 是 Meta 三天前发布的 30B 开源权重模型,专为端侧智能体任务设计,可在装有一块消费级显卡的 Mac 或 PC 上运行()。Unsloth 这次补上的是训练侧:模型不再只是下载来用,而是可以自己改。
三个免费 Kaggle Notebook:视觉、GRPO、对话
公告配图列出三种入口:Vision + Text、RL GRPO、Conversational 三个免费 notebook。Unsloth 的写明,这些 notebook 依托 Kaggle 运行,提供 30 小时免费 GPU 时长和 2 块 Tesla T4 显卡。
Kaggle 是 Google 旗下类似 Colab 的产品,没有本地 GPU 的用户也能跑通微调流程。
指南页还给出桌面端路径:开源本地 AI 界面 Unsloth Studio 支持在 MacOS、Windows、Linux 上运行模型并用 NVIDIA GPU 训练,Intel、MLX 与 AMD 的训练支持要到本月内才补上。
截至发稿,这条公告推文获得 42 次转推、390 个赞、210 次收藏,浏览量约 1.7 万。
三天前,Meta 才把这台模型放出来
Muse Glimmer 发布于 8 月 10 日。据,Meta 首席执行官马克·扎克伯格当天在 Instagram 视频中宣布开放 Muse Spark 1.2 的模型权重,并推出专为笔记本运行设计的 Muse Glimmer 系列。
他同日的 6500 字长文主张减少美国开源模型的训练数据限制,并称"不应该把超级智能集中起来,而应该广泛分配超级智能"。
Asharq Al-Awsat 当天援引路透社消息称,Muse Glimmer 体积远小于头部实验室的旗舰模型,主打在人们设备上直接运行的需求。
三天后,Unsloth 补上了微调工具链:本地模型不只是能跑,还可以被训练。
1.5× 提速、省一半显存:对比基准是 FA2
推文正文写的是 "Unsloth trains Muse Glimmer 1.5× faster with 50% less VRAM vs FA2 setups. Train locally with 24GB VRAM."。
配图海报又把口径补成"约 1.5× 提速、约 50% 省显存、无精度损失"。
需要留意这组数字的出处:它是 Unsloth 自己与 FA2 设置的对比结果,推文和海报都没有公布对比的具体配置——所用显卡、序列长度、训练数据集均未披露;"无精度损失"同样出自 Unsloth 自己的表述。
24GB 显存能训什么:QLoRA 可以,LoRA 不行
海报把显存边界写得很具体:"30B QLoRA works with 24GB and LoRA needs >40GB"——24GB 显存对应 QLoRA(4-bit 加载),LoRA 则要 40GB 以上。指南页口径一致:LoRA/QLoRA 是多数用户的推荐做法,全量微调需要多卡系统。
指南页给出的模型规格是约 29.6B 参数、52 层、131,072+ 上下文,视觉编码器为 ViT-G/14。
文档建议初期冻结视觉编码器、只训语言层,并在训练数据里保留推理样本,防止多步推理能力退化;训完可导出 GGUF、safetensors 等格式。
两组性能数字,目前只有 Unsloth 一家给过
"1.5× 提速、省 50% 显存"这两组数字目前只出现在 Unsloth 的推文和海报里。
现在,无论走免费的 Kaggle 时长还是 24GB 本地显卡,30B 模型的 QLoRA 微调都有了一条 Unsloth 提供的现成路径;而它比 FA2 快多少、省多少,目前只有 Unsloth 自己给出过数字。