作品№ 0082024实验

Project Ada

一个装满语言模型智能体的混合现实工作间。Ada 会听,会用摄像头读你的纸笔记本,会截屏,还会和同事们玩文字游戏。

根据黑客松和开发日志视频还原,Bill 自己的讲述还没补上。

透视房间里悬浮着几块面板:一份转写记录,和一段与名叫 Ada 的助手的对话;角落里有个戴着头显的人
01

好奇心

2024 年,语言模型忽然能看也能听了。头显同样能看能听。如果把一个助手放进你所在的房间里,给它几块可以抓起来的面板,而不是塞进一个聊天框,会发生什么?

02

动手做

Ada 住在 Quest 的透视混合现实里,是一组悬浮的面板:一份由麦克风喂养的转写记录、一个聊天窗,还有几件她能调用的工具。让她打开你笔记本的照片,她会把手写字读成一份文档;让她截屏,她会截一张,再把上面的内容转写出来。2024 年 5 月为一场 AI 黑客松花一周做出来,几天后又为 Meta 的混合现实黑客松续写了一版。

图 1混合现实黑客松的参赛作品,2024 年 5 月。
视频AI Hackathon entry: multimodal image-to-text transcription in MRGameology Space · Games,2024 年 5 月

后来同一个房间里办了一场比拼:跑 GPT-4 的 Ada、经由 Groq 跑 Llama 3 70B 的 Bella,还有 GPT-4o,并排玩一个文字游戏,比谁更快、谁说得更通。

视频GPT-4o vs Llama3 70B vs GPT4 in MR GameGameology Space · Dev Log,2024
03

结果

两份黑客松作品、一段对比视频,还有一个问题——它一年后径直流进了网页上的实验:Secret SauceMystery Oracle 都是把一个模型藏在一个角色背后,然后看它怎么表现。