一个关于围绕LLMs构建成功产品的实用指南
输入“/”快速插入内容
一个关于围绕LLMs构建成功产品的实用指南
一个关于围绕LLMs构建成功产品的实用指南
大语言模型（LLMs）的时代充满了让人兴奋的机遇。在过去的一年里，LLMs的性能已经“足够好”以至于可以用于现实世界的应用，预计会在2025年前带动大约2000亿美元的人工智能投资。LLMs也广泛使得所有人，而不只是机器学习工程师和科学家，都能够将人工智能带入他们的产品中。虽然构建AI产品的门槛已经降低，但要创造出一个体验优秀的产品仍然是一个艰巨的挑战。
在过去一年中，Eugene Yan、Bryan Bischof 、Charles Frye 等一直在LLMs之上构建他们的应用程序。他们写这篇文章的目标是，以自己的经验为基础，创建一个关于围绕LLMs构建成功产品的实用指南，并列出实际成功的例子，分享一些建议和教训，供任何构建LLMs产品的人参考。
Eugene Yan 负责设计和运行大规模的机器学习系统，为客户提供服务。他目前是亚马逊的高级应用科学家，开发推荐系统，服务全球数百万客户（RecSys 2022 主旨演讲），并应用大语言模型以更好地服务客户（AI Eng Summit 2023 主旨演讲）。此前，他在被阿里巴巴收购的 Lazada 和一家健康科技初创公司领导机器学习团队。他在 eugeneyan.com 和 ApplyingML.com 上分享关于机器学习、推荐系统、大语言模型和工程的文章和演讲。
Bryan Bischof 是 Hex 的 AI 负责人，带领团队开发 Magic，这是一款数据科学和分析助手。Bryan 在数据领域有丰富的经验，曾领导分析、机器学习工程、数据平台工程和 AI 工程团队。他在 Blue Bottle Coffee 建立了数据团队，领导了 Stitch Fix 的多个项目，并在 Weights and Biases 构建了数据团队。Bryan 还与 O'Reilly 合著了《Building Production Recommendation Systems》一书，并在罗格斯大学研究生院教授数据科学和分析课程。他拥有纯数学博士学位。
Charles Frye 专注于教授人们如何构建 AI 应用。在发表了精神药理学和神经生物学方面的研究后，他在加利福尼亚大学伯克利分校获得了博士学位，研究方向是神经网络优化。他通过在 Weights and Biases、Full Stack Deep Learning 和 Modal 的教育和咨询工作，教导了数千名学生，从线性代数基础到 GPU 深度学习应用以及如何构建稳健的商业应用。
前言
在这一部分，我们将分享一些关于大语言模型（LLM）技术核心组件的最佳实践，包括：提升质量和可靠性的提示技巧、评估输出的策略、改进检索增强生成等等。我们还将探讨如何设计人类参与的工作流程。尽管这项技术仍在迅速发展，但我们希望这些经验教训——我们一起进行的无数实验的成果——能够经受时间的考验，并帮助您构建并交付强大的LLM应用程序。
提示工程（Prompting）
我们建议在开发新应用时从提示工程（Prompting）开始。人们很容易低估或者低估它的重要性。正确的提示技巧，若使用得当的情况下，可以让我们取得很大的进展，所以它往往被低估；但是，即使是基于提示的应用程序也需要围绕提示进行大量工程开发才能很好地工作，因此其重要性也容易被高估。
重视从基本的提示技巧中获得最大收益
有几种提示技巧在不同模型和任务中都能有助于提升性能：
1.
n-shot 提示与上下文学习
利用n-shot 提示进行上下文中学习的思路是提供给LLM一些示例，这些示例展示了任务要求，并使输出符合我们的期望。一些建议：
•
如果 n 过低，模型可能会过度依赖这些特定示例，影响其泛化能力。一般来说，n 应该不小于 5，甚至可以达到几十个。
•
示例应能代表预期输入的分布。如果您正在构建一个电影摘要生成器，请包含不同类型的样本，比例大致与实际情况相符。
•
不一定要提供完整的输入输出对。在很多情况下，仅提供期望输出的示例就足够了。
•
如果您使用支持工具的大语言模型，您的 n-shot 示例也应包括您希望智能体使用的工具。
2.
思维链（CoT）提示
在思维链（CoT）提示中，我们鼓励LLM在返回最终答案之前解释其思考过程。可以将其视为为LLM提供一个草稿本，这样它就不必全部在记忆中完成。最初的方法是简单地在指示中添加“lets think step by step（让我们一步一步思考）”这句话。然而，我们发现使链式思维更具体，通过添加一两句额外的说明，可以显著降低幻觉率。例如，当要求大语言模型总结会议记录时，我们可以明确步骤，例如：
•
首先，在草稿本上列出关键决策、后续事项及相关责任人。
•
然后，检查草稿本中的细节与会议记录事实上是否一致。
•
最后，将关键点综合成一份简洁的摘要。
最近，人们开始怀疑这种技术是否像人们认为的那样强大。此外，关于在使用思维链时推理过程中究竟发生了什么，存在相当大的争议。无论如何，尝试这种技术是值得的。
3.
提供相关资源
提供相关资源是一种扩展模型知识库、减少幻觉并增加用户信任的强有力机制。通常通过检索增强生成（RAG）实现，为模型提供它可以直接在回应中使用的文本片段是一种基本技巧。提供相关资源时，仅仅包括这些资源是不够的；别忘了告诉模型优先使用这些资源，直接提及它们，有时还要提及当资源不足时的情况。这些有助于让智能体的响应基于一组资源。
结构化你的输入和输出
结构化输入和输出可以帮助模型更好地理解输入，并返回能够可靠集成到下游系统中的输出。为您的输入添加序列化格式可以为模型提供更多关于上下文中tokens之间关系的线索，为特定tokens提供额外的元数据（如类型），或将请求与模型训练数据中的类似示例联系起来。
例如，互联网上许多关于编写SQL的问题都是通过指定SQL模式开始的。因此，你可能期望有效的Text-to-SQL提示应包括结构化的模式定义。
结构化输出具有类似的目的，但它也简化了与系统下游组件的集成。Instructor和Outlines适合用于结构化输出。（如果你正在导入LLM API SDK，使用Instructor；如果您正在导入 Huggingface 进行自托管模型，请使用Outlines）。结构化输入清晰地表达任务，并且类似于训练数据的格式，增加了获得更好输出的可能性。
使用结构化输入时，请注意每个大语言模型都有自己的偏好。Claude偏好xml，而GPT偏好Markdown和JSON。使用XML，你甚至可以通过提供一个 response标签来预填Claude的响应，就像这样。