Open WebUI 可让模型操控虚拟桌面

Reddit 的 LocalLLaMA 社区出现了一则桌面自动化演示：作者使用 Open WebUI 0.13.0 配合 Open Terminal 0.17.2，让模型通过程序和鼠标坐标操作虚拟桌面。帖子标题称，模型在 MS Paint 中徒手画了一只狗；摘要还提到，作者将默认 Linux 虚拟机改成了 Windows，可以在浏览器中观察操作并随时接管。

目前能确认什么

目前的信息来自标题和摘要。演示涉及两个组件的配合，以及作者对虚拟机环境的改造。标题中的模型名称写作 QFN 3.8 NVFP4，但现有材料没有交代它的具体身份、配置或运行条件。

这里的桌面自动化，可以理解为让模型把任务转成程序操作或鼠标动作，再由桌面环境执行。坐标点击依赖窗口位置、分辨率和界面状态，同一组动作在界面变化后可能失效。

虚拟机提供独立的操作系统环境，但「运行在虚拟机里」并不自动代表文件、网络和宿主机之间已经做好隔离。现有摘要没有说明这些边界。

Windows 环境属于作者改造后的演示，不能据此认定是默认支持能力。

我的判断

对程序员来说，比画出一只狗更有参考价值的，是「浏览器可观察、人工可接管」这套交互方式。桌面任务一旦点错窗口或遇到弹窗，能看到过程并介入，比只等待最终结果更方便排查问题。

但「随时接管」具体怎么实现，还没说清：人工输入能否立即暂停模型，接管后模型是否继续执行旧动作，都需要原文或官方文档确认。

这则演示可以作为探索桌面智能体的线索。它还不足以证明能稳定处理安装软件、修改项目文件等连续任务，更不能从一次绘图展示推导出通用的 Windows 自动化能力。