03 安全、公平和责任⚓︎

人们很容易对人工智能尤其是生成式人工智能着迷，但你需要考虑如何负责任地使用它。你需要考虑如何确保输出是公平的、无害的等等。本章旨在为您提供上述相关背景信息、需要考虑的事项以及如何采取积极措施来改善人工智能的使用。

本章概述⚓︎

本章内容包括：

学完本章内容后您将了解到：

生成式人工智能的热度非常高。这种热度为这个领域带来了许多新的开发人员、关注和资金。虽然这对于任何想要使用生成式人工智能构建产品和公司的人来说都是非常积极的，但我们负责任地行事也很重要。

在整个课程中，我们专注于构建“Our startup”和相关人工智能教育产品。我们将使用负责任的人工智能的原则：公平、包容、可靠性/安全、安全和隐私、透明度和问责制。根据这些原则，我们将探讨它们与我们在产品中使用生成式人工智能的关系。

在构建产品时，采取以人为本的方法，牢记用户的最大利益，从而获得最佳结果。

生成式人工智能的独特性在于它能够为用户创建有用的答案、信息、指导和内容。无需许多手动步骤即可完成此操作，这可以带来非常令人印象深刻的结果。不幸的是如果没有适当的规划和策略，它也可能会给您的用户、产品和整个社会带来一些有害的结果。

让我们看看这些潜在有害结果中的一些（但不是全部）：

幻觉Hallucinations是一个术语，用于描述 LLMs 产生的内容要么完全无意义，要么根据给出其他错误的信息。

举个例子，我们为“Our startup”构建了一个功能，允许学生向模型提出历史问题。一名学生问“泰坦尼克号的唯一幸存者是谁？”

该模型产生如下响应：

给出了一个非常确切的答案。不幸的是，这是不正确的。即使极少了解，人们也会发现泰坦尼克号幸存者不止一名。但对于刚开始研究这个领域的学生来说，这个答案足以有说服力，不会被质疑并被视为事实。这样做的后果可能会导致人工智能系统不可靠，并对我们初创公司的声誉产生负面影响。

在任何给定的 LLMs 的每次迭代中，我们都看到了在最大限度地减少幻觉方面的性能改进。即使有了这样的改进，我们作为应用程序构建者和用户仍然需要意识到这些限制。

我们在前面的部分中介绍了 LLMs 会产生不正确或毫无意义的回答。我们需要注意的另一个风险是模型产生有害内容。

有害内容可以定义为：

对于我们的初创公司来说，我们希望确保拥有正确的工具和策略来防止学生看到此类内容。

公平的定义是“确保人工智能系统没有偏见和歧视，并公平、平等地对待每个人。” 在生成式人工智能的世界中，我们希望确保模型的输出不会强化边缘群体的排他性世界观。

这些类型的输出不仅会破坏为用户建立积极的产品体验，还会造成进一步对社会进行危害。作为应用程序构建者，在使用生成式人工智能构建解决方案时，我们应该始终牢记广泛且多样化的用户群。

现在我们已经确定了负责任的生成式人工智能的重要性，让我们看看我们可以采取的 4 个步骤来负责任地构建我们的人工智能解决方案：

在软件测试中，我们测试用户对应用程序的预期操作。同样，测试用户最有可能使用的一组不同的提示是衡量潜在危害的好方法。

由于“Our startup”正在开发教育产品，因此最好准备一份与教育相关的提示列表。这可以涉及某个主题、历史事实和有关学生生活的提示。

现在是时候寻找方法来预防或限制模型及其响应造成的潜在危害了。我们可以从 4 个不同的层面来看待这个问题：

模型。为正确的用例选择正确的模型。当应用于更小、更具体的用例时，更大、更复杂的模型（例如 GPT-4）可能会导致更大的有害内容风险。使用训练数据进行微调还可以降低有害内容的风险。
安全系统。安全系统是平台上为模型服务的一组工具和配置，有助于减轻伤害。 Azure OpenAI Service 上的内容过滤系统就是一个例子。系统还应该检测越狱攻击和不需要的活动，例如来自网络机器人的请求。
元提示。元提示和基础是我们可以根据某些行为和信息指导或限制模型的方法。这可以使用系统输入来定义模型的某些限制。此外，提供与系统范围或领域更相关的输出。

它还可以使用检索增强生成 (RAG) 等技术，让模型仅从选定的可信来源中提取信息。本课程后面有一章关于构建搜索应用程序的内容