本周,Apple 向 Vision Pro 头显推送 visionOS 27。这是该设备的第四个主要系统版本,支持 M2 与 M5 两款机型。相比以往以环境、影像和基础交互为主的升级,这一版更值得关注的变化,是 Siri 从语音工具转变为可长期驻留在空间中的 AI 助手。
Siri 变成可固定的空间对象,AI 开始嵌入 visionOS 交互
visionOS 27 中的 Siri AI 以测试版形式推送。用户需要在系统设置中加入等待列表,Apple 表示等待时间不等,获得资格后功能会自动下载。当前该功能仅支持英语,且设备语言与 Siri 语言需设置为相同的受支持英语选项。
在系统呈现上,Siri AI 不再只是临时弹出的语音层,而是一个可以固定在房间物理位置上的持久球形对象。用户看向这个球体即可直接开口交互,不必先说出唤醒词;如果习惯传统方式,也可以继续使用“Siri”唤醒。
- Siri AI 以持久球体形式存在于空间中,可固定到现实位置。
- 注视球体后可以直接说话,减少对唤醒词的依赖。
- 系统集成 Visual Intelligence,可围绕现实与虚拟环境进行搜索、提问和执行操作。
- 新增专属 Siri 应用,可查看历史对话,成为系统内预装的 AI 聊天入口。
Apple 称,Siri AI 由新一代 Apple Foundation Models 驱动。这些模型与 Google 合作开发,基于 Gemini 模型,据报道涉及一项每年 10 亿美元的合作。与 Apple Intelligence 既有模式一致,部分任务由设备端小模型处理,更复杂任务则交由 Private Cloud Compute 完成。
从素材看,Apple 将其描述为比传统 Siri 更具对话能力、个人上下文理解能力和更广泛世界知识的助手。它在 Vision Pro 上的能力定位,大致介于 Meta AI 在 Quest 3 Horizon OS 上的表现,与 Gemini 在 Samsung Galaxy XR Android XR 上的表现之间。
空间内容继续强化:iPhone 全景可变成环境背景
除 AI 助手外,visionOS 27 也延续了 Apple 对空间内容的推进。此前,visionOS 2 可为 2D 图像合成伪立体效果;visionOS 26 则借助 Gaussian splatting,将 2D 图像转化为视角受限的立体空间场景。visionOS 27 将这一思路扩展到 iPhone 拍摄的全景照片。
用户可以把 iPhone 全景转换为空间全景,并将其设为 visionOS 家庭环境。这意味着这些由个人拍摄内容生成的场景,可以作为 Shared Space 中窗口与体积内容的背景。
系统还新增冰岛 Thórsmörk 山谷环境。这一地点常被视为全球风景最优美的地区之一,支持日夜模式,素材提及了它的夜间变体,但未展开更多细节。
对象追踪与 IR LED 配件,给空间交互补上硬件入口
visionOS 2 曾允许开发者追踪预先指定的现实 3D 对象。开发者需在 Mac 上使用 Create ML 提供目标物体的 3D 模型,训练神经网络并将其写入应用。该机制适合静态物体,对移动物体反应较慢。
visionOS 27 新增高帧率对象追踪模式,更适合移动和手持物体。Apple 未公布具体更新率,开发者初期反馈称可能约为 30Hz。为追踪手持物体,Apple 强烈建议使用新的 Extended Training 模式。该模式能显著提升追踪表现,但会“显著”增加模型训练时间。XR 爱好者 Brad Lynch 发现,训练一个鱼形玩具大约需要 18 小时。
不过,素材也明确指出,高帧率对象追踪仍比手部追踪或配件追踪更新率更低、延迟更高。它的价值更多在于让现实物体进入空间计算交互,而不是替代现有输入方式。
配件侧的变化同样关键。visionOS 26 中,Apple 与 Sony、Logitech 合作,硬编码支持了 PlayStation VR2 Sense 控制器和 Muse 数字手写笔。这些设备外壳下方都有红外 LED 阵列。visionOS 27 则开放相关 API,让任何公司都可以开发基于红外 LED 的 Vision Pro 追踪配件。
- 光学追踪频率为 90Hz,并与配件 IMU 加速度计和陀螺仪数据融合。
- 追踪质量可达到与 PlayStation VR2 Sense 控制器相近的水平。
- DFRobot 和 MikroE 已公布参考硬件与开发者套件。
- DFRobot 硬件现已可购买,厂商可直接使用或作为自研配件基础。
对 AI/AR 眼镜内容策略的意义:系统级 AI 成为入口
这次更新显示,Apple 正在把 Vision Pro 的内容策略从“观看和摆放窗口”,进一步推向“可理解环境的系统级助手”。Siri AI 不再只是响应命令,而是可以驻留在空间里、结合视觉信息回答问题并执行动作。
对开发者而言,对象追踪升级和 IR LED 配件框架意味着更丰富的输入可能;对 Apple 而言,专属 Siri 应用与 Visual Intelligence 的组合,则让它有机会在头显内建立自己的 AI 分发入口,而不把全部对话需求交给 ChatGPT、Gemini、Claude、Grok 或 Meta AI 等第三方应用。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/apple-zai-vision-pro-shang-shi-zhuang-geng-hui-liao-tian-de