Unsloth 宣布 Laya Decision 模型可本地运行：4GB 内存起步，经 Unsloth Desktop 提供 Jev 兼容 API

9 月 28 日，Unsloth AI 在 X 上发帖称，，最低 4GB 内存，覆盖 CPU、Mac、Windows、Linux 与 GPU 环境；同时可以通过 Unsloth Desktop 以 Jev 兼容 API（Jev-compatible API）对外提供 Laya 服务。帖文附了 GitHub 仓库与使用指南两个链接。

更具体的参数来自帖文链接的和同日发布的：默认的多语言模型体积 678MB，面向 100 多种语言、1,024 token 上下文；本地服务的端点写为 Jev 兼容的 /v1/systemone。这些信息都是 Unsloth 一方口径，帖文没有附基准数据。

4GB 内存对应的是默认多语言配置

4GB 不是三套推荐设置里的通用数字。指南列出的配置是这样分的：

多语言（默认）：4GB 内存、678MB 模型，面向大多数场景，支持 100 多种语言、1,024 token 上下文；
英语：5GB 内存、846MB 模型，只处理英语，使用更大的编码器，512 token 上下文；
类型化决策（typed decisions）：5GB 内存、846MB 模型，只处理英语，面向发票、安全事件、客服与 agent 轨迹。

运行默认在 CPU 上；文档称切到 GPU 会更快，但 GPU 会把模型一直留在内存里，直到手动点击 Unload 或重启 Unsloth。显存不够时，Laya 自动退回 CPU 继续回答。文档称，所有数据都留在设备上。

把文本变成可执行的决策

这类决策模型处理的是“文本进、结构化结果出”的任务：工单该路由给谁、邮件要不要过滤、内容打什么标签。指南给的示例很具体：拿一段被重复扣费的退款投诉文本，同时问三件事：该由 billing、technical、sales 还是 other 团队处理；客户是否在要求退款；这件事有多紧急。

问题类型有三种，类型名直接写在请求里：noul 回答是/否，返回“是”的概率，0.98 表示很可能，0.5 表示两可；choice 在若干选项里选一个，返回最可能的选项和每个选项的概率；score 在一条刻度上打分，从 0 数起。choice 和 score 还会返回 confidence：越接近 1 说明某个答案越突出，越接近 0 说明概率越分散。

文档也写明了规模上限：单次请求最多 64 个问题，每个 choice 问题最多 255 个选项，score 问题最多 10 档。速度方面，首个请求要花 10～20 秒加载模型，之后在多数 CPU 上每个请求远低于一秒。

一个 Jev 兼容的本地端点

官方文档把 Laya 描述为一款开源的 Jev 替代方案，并写明可以用 Unsloth 的图形界面，把 Laya 以 TypeSafe 兼容的 Jev API 对外暴露，让现有 Jev 集成把请求指向本地服务器。

具体操作：在 Unsloth Desktop 里打开设置 → API → Decision API，开启 Serve requests，默认的 Laya 模型（678MB）会在确认后开始下载。API key 在同一页的 Access tokens 下；只在 localhost 上使用时，可以开启免 key 访问。对外暴露的端点是 /v1/systemone；版本说明还提到，在 Apple Silicon 上选择 GPU 运行时，Laya 原生走 MLX。

对已经用 TypeSafe SDK 的项目，迁移是 pip install typesafe-sdk 加两个环境变量；SDK 默认的模型名 jev-latest 会映射到设置里选中的那个模型，也可以直接写 laya、default、laya-multilingual、laya-english 或 laya-typed-decisions。

桌面端覆盖 macOS、Windows 与 Linux

本次更新以 v0.1.900-beta 的形式发布。GitHub 的发布记录显示，该版本发布于 9 月 28 日 UTC 14:33，比 Unsloth 发帖早不到 50 分钟；发布说明标题是“Laya Decision Models + Library”，正文写明可通过 Jev 兼容的 /v1/systemone 端点接入 TypeSafe SDK。

给出了 Windows、macOS 与 Linux（x64 与 ARM64）的桌面端安装包，也提供脚本和 Docker 方式；仓库说明 Unsloth 可在 Windows、Linux、WSL 与 macOS 上运行，支持多 GPU、NVIDIA / AMD / Intel GPU、CPU 与 Vulkan 后端。文档推荐的上手方式是下载 Unsloth Desktop，在应用里开启 Decision API。

与 Jev 的两处差异：阈值与选项预算

官方文档列了两处与 Jev 的差异。

第一处是 confidence 的算法不同，为 Jev 调好的阈值不能直接沿用；文档建议改用 probabilities 设定判断线，比如只有当 technical 的概率高于 0.8 时才建缺陷单。

第二处是选项的 token 预算：choice 里的选项共享一份固定预算，描述超过大约 20 个选项后，标签会被裁剪。

帖文回复里，用户 Mathias Heinke（@ares_mheinke）写下了自己的迁移重点：“4GB 的标题不错，但对我来说迁移说明更重要：Laya 和 Jev 计算 confidence 的方式不同。在复用任何路由阈值之前，我会先在有标注的工单上把选项概率复核一遍。”（）

对已经把 Jev 用在生产路由里的团队，换到本地 Laya 的路径分成两层：端点地址按文档几步就能换过去；剩下的一层是重新校准，阈值不能沿用 Jev 的旧值，选项规模要按共享 token 预算重新核。