检索增强生成：揭开让法律硕士发挥作用的秘密

大型语言模型 (LLM) 并不像你想象的那么有用。

别误会：法律硕士是强大的。

这些深度学习算法可以利用大型数据集识别、总结、翻译、预测和生成内容。 

它们以转换器为基础，转换器是一种强大的神经架构，可以处理自然语言输入和结果，已成为许多自然语言处理应用的基础。

聊天机器人、代码生成器、人工智能作家、人工智能设计师等都是使用 LLM 构建的。 

它们的功能非常强大，但只有了解了它们的局限性，才能发挥它们的作用。

让我们深入了解一下。

大型语言模型 (LLM) 在生成式人工智能中的关键作用

在揭示大型语言模型的局限性之前，我们需要了解它们在生成式人工智能中的作用。

包括 GPT-4 这样的庞然大物在内的 LLM 是一种庞大而复杂的技术，能够理解、处理和生成人类语言，其规模之大令人印象深刻。简单地说，它们是人工智能的语言动力源。

正如您所猜测的那样，这种广泛的语言理解能力对于依靠数据输入和新颖输出而蓬勃发展的生成式人工智能有着显著的影响。想象一下，与一位能言善辩的合作者一起工作，他能迅速吸收大量文本，并创造出独一无二的新内容。

LLM 的输入可以让生成式人工智能创造出真实可信的输出结果，从而巩固其在各种现实世界应用中的价值。

这意味着 LLM 的质量决定了它所产生的生成式人工智能输出的质量。

大型语言模型的局限性

尽管 LLM 功能强大，但也有其局限性，可能会影响在其上构建的产品。

大型语言模型是无状态的

LLM 不存储或记忆以前输入或输出的任何信息。

在业内，我们称这种无法记忆或存储信息的情况为无状态--它们只使用当前的输入来生成输出，这对于需要内容或应用连续性的任务（如聊天机器人）来说可能会造成问题。

我来举个例子。

比方说，你告诉法律硕士你的名字。它可以而且很可能会叫出你的名字。但如果你要问 LLM 你叫什么名字，它就无法准确回答你了。

LLM 不会记住您的输入，因此除非您在每次聊天中都输入该信息，否则它无法在输出中包含该信息。

其影响是巨大的。

如果你曾经使用过 OpenAI 的 ChatGPT 来创建内容，你就会知道，要获得最佳效果，需要长时间的初始输入。

每次聊天都需要提醒您，您是谁，您的语气，您的专长，您喜欢的话题，您喜欢的写作风格等等。

您不能只输入一次，ChatGPT 就能记住它们。您必须在每次聊天中都输入它们，才能得到正确的结果。

大型语言模型受限于数据集

LLM 只能利用从训练数据集中获得的知识进行操作，而不能利用最新或不断变化的数据。

假设您向 LLM 提出一个关于新事件或专有数据的问题，或要求它生成一些新的风格趋势。在这种情况下，模型很可能会提供不准确的信息。

这在业内被称为模型幻觉--模型会给你错误的信息，因为正确的信息没有包含在它的训练数据集中。

想象一下这其中的含义！

创建文章、图形，或只是向聊天机器人询问信息以做出 "有根据的 "猜测，都可能导致使用不准确的信息。

这就是为什么你需要对从法律硕士那里获得的任何信息进行事实核查，尤其是在你不知道其训练数据集的情况下。

通过检索增强生成让 LLM 更有用

克服这些限制的主要方法是让 LLM 更准确地响应您的数据。

通用模型需要帮助理解特定用途所需的背景。

要求 ChatGPT 提供法律指导或帮助您提高特定网络的网络安全性，对您来说不是好兆头。 

它还没有在产生准确答案所需的数据集上接受过训练。

检索增强生成是使 LLM 响应更准确的最有效方法。

什么是检索增强生成？

检索增强生成（RAG）是一种允许 LLM 在生成过程中访问外部信息源的技术。

这可以帮助法律硕士在其成果中纳入该领域的事实、证据和实例，从而提高其可信度和准确性。

比方说，您想创建一个 LLM，它可以回答有关您所拥有的 PDF 格式书籍的问题。

RAG 允许您查询由该书文本组成的数据库，并利用这些信息生成准确的答案。

下图展示了这一过程。

‍

资料来源资料来源：检索增强生成（RAG）：从理论到连锁实施

基本 RAG 系统架构

在 LLM 中启用 RAG 系统需要三个核心组件：

• LLM 嵌入
• 矢量数据库
• 检索

让我们分别来看看每个组成部分。

LLM 嵌入

LLM 嵌入是单词或标记的向量表示，可捕捉其在高维空间中的语义。

它们允许模型将离散的词块转换成神经网络可以处理的格式。LLM 在训练过程中会学习嵌入，以捕捉词与词之间的关系，如同义词或类比。 

‍

资料来源嵌入式机器学习的力量

嵌入是 LLM 所使用的转换器架构的重要组成部分，其大小和尺寸会因模型和任务的不同而变化。

矢量数据库

LLM 应用程序不使用典型的数据库。它们使用的是由嵌入组成的向量数据库。

矢量数据库利用嵌入创建高维数据集，可根据语义和词与词之间的关系进行查询（在自然语言处理应用中）。  

‍

来源：矢量数据库矢量数据库：概念与示例

‍

另一方面，传统数据库对标量数据进行操作。搜索基于通过逻辑指令检索到的查询准确答案。它们不理解语义的细微差别和词语之间的关系。

检索

RAG 系统的最后一步是检索。

检索步骤负责根据输入的提示从矢量数据库中查找最相关的信息。 

具体做法是在向量数据库中进行相似性搜索，然后根据相关性对检索到的文本进行排序。 

然后将检索到的文本与提示结合起来，以提供相关的上下文，并传递给 LLM。

提高法律硕士的可用性

RAG 提供了一种实用的解决方案，可在处理不断变化的数据集时增强 LLM 的能力。

将实时的外部知识整合到响应中，可使 LLM 在上下文中保持准确性和相关性，这对现实世界的应用而言是一大优势。

集成 RAG 可改善用户体验，让客户满意并继续使用您的生成式人工智能应用程序。

‍