智能眼镜实时 AI：Ray-Ban 接入 Gemini Live

智能眼镜实时 AI：Ray-Ban 接入 Gemini Live | 前端进阶之旅

Full translation

完整中文译文

想象一下，你走在街上，问你的眼镜你看到的是什么植物，并立即得到回应。通过结合 Gemini Live API、LiveKit 和 Meta Wearables SDK，这不再是科幻小说，而是你今天就能构建的东西。

在这篇文章中，我们将介绍如何设置一个视觉启用的 AI agent，通过安全的 WebRTC 代理连接到 Meta Ray-Ban 眼镜。

该设置涉及多个层次，以确保可穿戴设备和 AI 之间的低延迟、安全通信：

Meta Ray-Ban 眼镜：捕捉视频和音频，通过蓝牙连接到你的手机。
手机（Android/iOS）：充当网关，通过 WebRTC 连接到 LiveKit Cloud。
LiveKit Cloud：作为 Gemini Live API 的安全、高性能代理。
Gemini Live API：通过 WebSockets 处理流，启用实时多模态交互。

后端：构建 Gemini Live Agent

我们使用 LiveKit Agents 框架作为 Gemini Live API 的安全 WebRTC 代理。该 agent 加入 LiveKit 房间，监听音频，并处理来自眼镜的视频流。

设置 Assistant

我们 agent 的核心是 AgentSession。我们使用 google.beta.realtime.RealtimeModel 来与 Gemini 交互。至关重要的是，我们在 RoomOptions 中启用 video_input 来让 agent "看到"。

@server.rtc_session()
async def entrypoint(ctx: JobContext):
    ctx.log_context_fields = {"room": ctx.room.name}

    session = AgentSession(
        llm=google.beta.realtime.RealtimeModel(
            model="gemini-2.5-flash-native-audio-preview-12-2025",
            proactivity=True,
            enable_affective_dialog=True
        ),
        vad=ctx.proc.userdata["vad"],
    )

    await session.start(
        room=ctx.room,
        agent=Assistant(),
        room_options=room_io.RoomOptions(
            video_input=True,
        )
    )
    await ctx.connect()
    await session.generate_reply()

通过设置 video_input=True，agent 自动从房间请求视频轨道，在这种情况下是来自眼镜的 1FPS 流。

要在开发模式下启动你的 agent 并通过 LiveKit Cloud 使其可全局访问，只需运行：

uv run agent.py dev

在 LiveKit 文档中查找完整的 Gemini Live 视觉 agent 示例。

连接与认证

要将你的前端连接到 LiveKit，你需要一个短期有效的访问令牌。

对于测试和演示，你可以使用 LiveKit CLI 快速生成令牌：

lk token create \
  --api-key <YOUR_API_KEY> \
  --api-secret <YOUR_API_SECRET> \
  --join \
  --room <ROOM_NAME> \
  --identity <PARTICIPANT_IDENTITY> \
  --valid-for 24h

在生产环境中，你应该始终从安全的后端发放令牌，以保持你的 API 密钥安全。

前端：Meta Wearables 集成

此示例针对 Android 设备（如 Google Pixel）。你需要 Meta Wearables Toolkit 和特定的示例项目。

克隆示例： 获取 Android 客户端示例。

配置 local.properties： 添加 Meta SDK 所需的你的 GitHub Token。

更新连接详情： 在 StreamScreen.kt 中，将服务器 URL 和令牌替换为你的 LiveKit 详情：

// streamViewModel.connectToLiveKit
connectToLiveKit(
    url = "wss://your-project.livekit.cloud",
    token = "your-generated-token"
)

运行应用： 通过 USB 连接你的设备，并从 Android Studio 部署。

通过通过 LiveKit 将 Meta Wearables 与 Gemini Live 连接起来，我们创造了一个强大的、低延迟的视觉 AI 体验。这种架构是可扩展的和安全的，为下一代可穿戴 AI 应用提供了基础。

LiveKit Agents 文档

Gemini Live 视觉配方

Meta Wearables 开发者门户

某些评论可能仅对已登录的访问者可见。登录以查看所有评论。

如需进一步操作，你可以考虑屏蔽此人和/或举报滥用