
01
好奇心
所有人都在用巧妙的提示词去骗语言模型。把工程的部分剥掉,剩下的是一个社交游戏:对方有理由不说,而你只有言语。
如果对面不是聊天机器人,而是一个角色,那会是什么感觉?
视频Can AI keep a secret? Evaluating LLM for RPG use case02
动手做
两个场景,各是一段系统提示词,里面装着一个秘密和守住它的理由。摊主的热狗是马肉做的,在他那儿这合法,但一旦传出去生意就完了。前台知道一位名人客人的晚餐安排,而且被人特意叮嘱过要忘掉。
游戏盯着每一条回复找那个秘密,并高亮泄底的那个气泡。会话和聊天记录存在 Firestore 里;一个触发器把每条消息交给 Cloud Run 上的模型,所以没有需要一直开着的游戏服务器。

03
结果
两个场景。都能攻破。
04
我学到了什么
模型能不能守住一个秘密,仍然没有答案。做一个小游戏,结果成了最便宜的追问方式,顺便还能看人们怎么问。