基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
开源项目2026-11-17 15:12

开源项目让 PS4 离线跑通 9B 模型

IT之家#本地模型#量化#开源
Editor brief · 编辑速览

Garlic LLM 通过自行实现 AMD GCN GPU 底层计算,让越狱 PS4 运行量化 Qwen3.5-9B,模型与加速数据约占 4.5 GiB,支持约 1.6 万词元上下文。普通文本生成约每秒 31 至 39 词元,代码生成最高 43 词元,并支持语音交互与执行生成的 Python 代码。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一台越狱 PS4,能跑多大的本地 AI?IT之家 11 月 17 日转述 Gigazine 的报道:开源项目 Garlic LLM 已能运行 90 亿参数模型,普通文本生成约每秒 31 至 39 个词元,代码生成最高达到每秒 43 个词元,还支持离线语音对话。

这件事有意思的地方,不只是旧游戏机能聊天。开发者绕过原有图形驱动,自己补上 GPU 计算能力,再用量化和推测解码压低资源开销。不过,跑得起来、输出够快,与能否承担日常编程任务,还需要分开看。

PS4 没有机器学习接口,模型怎么跑起来?

Garlic LLM 由 Leonardo Alegria 创建,项目仓库为 leonardo-alegria/garlic-llm,运行前提是 PS4 已经越狱。

通常,运行本地模型需要底层计算接口和相应的软件库,把模型运算交给 GPU。PS4 并没有向非官方程序提供通用 GPU 计算接口或机器学习库,这条常规路径走不通。

开发者的做法是绕过 PS4 原本服务于游戏图形处理的驱动,直接向 AMD GCN 架构 GPU 下达底层指令,并自行开发相关 GPU 指令支持。模型因此可以利用主机的计算硬件完成推理。

这个项目的关键突破,是为 PS4 补出了运行本地模型所需的底层计算路径。

它不是把现成聊天应用搬到游戏机上那么简单。原文也没有给出安装步骤、支持的系统版本或越狱条件,不能据此判断普通用户上手有多容易。

每秒 43 个词元,是哪些取舍换来的?

Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座。为了适应有限内存,开发者把模型权重压缩为 3 位或 4 位量化格式,权重连同加速数据整体控制在约 4.5 GiB。

量化可以理解为用更少的位数保存模型参数,从而减少存储和内存需求。但报道没有提供量化前后的回答质量对比,不能只凭模型仍有 9B 参数,就认定能力没有损失。

另一项提速手段是报道所称的「推测解码」(MTP):生成文本时,提前采样多个词元,再进行验证,以提高输出效率。原文没有进一步交代实现细节,也没有给出关闭 MTP 后的速度。

报道列出的测试结果需要分别看:

  • 普通文本生成约为每秒 31 至 39 个词元。
  • 生成程序代码时,最高达到每秒 43 个词元。
  • 模型可处理约 16,000 个词元的上下文窗口。
  • 启用语音对话后,文本生成速度降至约每秒 22 个词元。

每秒 43 个词元是代码生成场景的最高值,不能当成所有任务的稳定速度。

上下文容量也不等于长任务质量。能容纳约 16,000 个词元,并不能直接证明它能准确理解同等长度的项目代码。

语音和 Python 执行,把它推进了哪一步?

除了文字聊天,Garlic LLM 还串起了语音识别与语音合成:前者使用 Parakeet TDT 0.6B v3,后者使用 Chatterbox,支持无需联网的语音输入和语音对话。

代价很直接:语音功能占用更多内存,文本生成速度随之下降。对于这种资源有限的设备,功能是否齐全和交互是否流畅,需要一起衡量。

项目还支持在 PS4 上执行 AI 生成的 Python 代码,并提供回答前先进行推理的「思考模式」。不过,报道没有说明 Python 执行环境的权限、依赖支持和隔离方式,也没有给出思考模式的耗时或效果数据。它们说明项目具备这些功能,还不足以证明它能可靠完成复杂自动化任务。

我的判断

我更看重它展示的工程路径:缺少计算接口,就补底层支持;内存不足,就压缩权重;生成速度受限,就加入推测解码。对研究本地推理的人,这些取舍比「旧主机跑 AI」的噱头更有参考价值。

但这是一篇媒体转述报道。虽然列出了实测速度,原文没有交代完整测试配置、输入长度、重复次数,也没有提供回答质量和代码正确率的对照数据。它能证明项目已有可运行成果,尚不能证明它适合作为日常 AI 编程工具。

与常见的电脑本地推理或云端模型相比,报道没有做横向测试,因此无法判断它在成本、维护难度和实际效率上是否更划算。对前端和全栈开发者而言,它目前更适合作为硬件利用与推理优化案例来读。

能拿来做什么

  • 评估本地 AI 编程工具时,把普通文本速度、代码生成速度、上下文容量和代码正确性分开记录,避免只比较最高词元速度。
  • 给资源有限的设备做离线助手时,可以参考「量化模型加推测解码」的组合,并分别测量文字模式和语音模式的资源占用。
  • 如果关注 AI 生成 Python 后自动执行的流程,先核实执行环境、依赖和权限边界;原文只确认了执行能力,没有提供这些细节。
  • 手头已有越狱 PS4、又对底层 GPU 开发感兴趣,可以把 Garlic LLM 当成研究对象;准备实际部署前,仍需补齐原文未说明的兼容与安装信息。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 IT之家,原文版权归原作者所有。

阅读原文
上一篇
实测 AWS 本地模拟器与编程智能体协作
下一篇
代理擅自强推主分支的泄密处置教训

资讯速览

IT之家 · 2026-11-17 15:12

AI 评分 8.0 / 10

相关标签

#本地模型#量化#开源

继续阅读

  • 拆开事实提取、判断与写作三步
  • 实测 AWS 本地模拟器与编程智能体协作
  • 代理擅自强推主分支的泄密处置教训
  • 测试结果统计遗漏如何制造全绿假象
  • 一份配置生成三种编程助手子代理