一个很好的例证是陶哲轩（Terence Tao）与ChatGPT关于最近发现的雅可比猜想反例的对话。这不是我平时交谈的那个ChatGPT！即使给我无限的token，我也无法达到陶哲轩的水平。
从陶哲轩的对话中，可以学到很多关于良好提示的技巧。以下是一些观察：
然而，你无法仅仅通过遵循这些技巧，就能像陶哲轩那样处理数学问题。他技巧的关键在于真正理解数学：从ChatGPT的多段回答中提取相关想法，建议替代的方法或表述，并识别出“看起来奇怪的地方”。
陶哲轩是比我更优秀的数学家。但这里的观点——领域知识让你更擅长使用LLM——是我自己工作中也亲身体会到的。如果你对你的代码库有良好的理论，你能比毫无熟悉度的情况下，对LLM施加“推力”大得多。因为你对自己认为的良好解决方案应是什么样子有自己的判断，你可以说“不，我觉得这里可以更简洁”，或者“但我们不是已经做了X吗？”，或者“能否用这些我们熟悉的术语来表达这个问题？”
这触及了我之前写过的一个观点：系统设计问题主要由具体的细节主导，而非通用的原则。当然两者都有用，但我宁愿熟悉代码库，也不愿对软件系统有深入的通用理解。在他的对话中，陶哲轩问了很多具体问题，比如“这里的X有效吗？”，或者“给定Y和Z，为什么是A？”我无法就雅可比猜想提出这些问题，但我可以对我在GitHub负责的系统提出这样的问题。
如果你没有领域知识，你只能依赖LLM来至少得到一些东西。这并不坏！但如果你有领域知识，你可以通过将其强力引导到你想要的方向，从相同的LLM中榨取更多的价值。我们大多数人将不得不混合使用这两种方法，因为我们在某些领域有领域知识，而在其他领域没有。
领域知识的有用性表明，即使模型变得更强大，人类专业知识仍将是有用的。对于许多任务，瓶颈是人，而不是模型，因为困难的部分在于向模型准确传达人类想要什么样的解决方案。信息已经“在模型中”，但需要非常聪明的人类才能把它挖出来。
如果你喜欢这篇文章，请考虑订阅我的新文章邮件更新，或在Hacker News上分享。
以下是分享相同标签的相关文章预览。