Andrej Karpathy在X上写道: “我们正在开始超越用例如‘画一个骑自行车的鹈鹕’的SVG来测试大语言模型的范畴。作为一个泛化的想法,我很想看看Opus 5会如何处理:如果我给它《指环王》的第一段话,给它100万token的预算(约10美元),并要求它用Three.js进行渲染。Opus运行了约2小时,编写了5500行代码,以(程序化方式)渲染了这个故事。它有点笨拙,但很有趣。但LLM必须在三维坐标中放置和协调各种多边形资产,并编写动画化这一切的代码,这甚至还能运行起来——这有点令人难以置信。
我也喜欢这类例子,因为没有任何理智正常的人会花时间去写这么定制化的东西,但LLM拥有无限的耐力和耐心,所以这是一个从‘绝不会有人这么做’到‘当然可以,这几乎是免费的’的例子。可能还有更多这样的例子。但我对创建超定制化的世界感到兴奋,你可以想象把玩家丢进去,比如在这里作为旁观的NPC参与指环王的故事,或者扮演其中一个角色,等等。有点像按需生成的临时版《侠盗猎车手》X。
最后一个思考是,世界/游戏领域暴露了LLM的一个弱点:它们无法轻易地审计自己的工作,因为它们无法高效地、原生地感知视频或在其中玩游戏。在这里,Opus 5不得不非常缓慢而费力地在不同节点截图,它搞砸了几次,产生了一堆故障。这是一个原始能力(多模态、游戏玩法)仍然相当欠缺的例子。”