通向负责任的人工智能内容生成

图1:AIGC的责任范围。

介绍

人工智能生成内容(AIGC)在过去几年中受到了极大的关注，其内容从图像、文本到音频、视频等。与此同时，AIGC已经成为一把双刃剑，最近因其负责任的使用而受到很多批评。针对在实践中可能阻碍AIGC健康发展和部署的三个主要风险，包括:(1)隐私风险;(2)偏倚、毒性、错误信息;(3)知识产权(IP)，如图1所示。通过记录已知和潜在的风险，以及任何可能的滥用AIGC的情况，目的是引起对潜在风险和滥用的关注，帮助社会消除障碍，并促进更道德和安全的部署AIGC。对在构建生成模型的同时解决这些风险的有希望的方向提供了见解，使AIGC能够负责任地用于造福社会。

隐私

隐私的泄漏。众所周知，大型基金会模型容易受到隐私风险的影响，而建立在这些模型之上的AIGC模型也可能受到隐私泄露的影响。例如，稳定扩散记忆训练数据中的重复图像[Rombach et al.， 2022c]。[Somepalli等人，2022]证明了稳定扩散明显地从其训练数据中复制图像，并且生成的图像是训练数据集的前景和背景对象的简单组合。此外，该系统偶尔显示出重建记忆的能力，产生与原始物体在语义上等价的对象，但像素形式不相同。这种图像的存在引起了人们对数据存储和扩散图像所有权的关注。

同样，最近的研究表明，稳定扩散和谷歌的Imagen可能会泄露真实人物的照片和版权图像[Heikkilä，2023]。在Matthew Butterick最近的诉讼中[Butterick, 2023]，他指出，因为系统中的所有视觉信息都来自于受版权保护的训练图像，所以生成的图像必然是来自于这些训练图像的作品，无论它们的外观如何。DALL·E 2也遇到过类似的问题。它有时可以从训练数据中重现图像，而不是创建新的图像。OpenAI发现，这种图像回流的发生是由于图像在数据集中被重复多次。类似地，当我问ChatGPTChatGPT的隐私风险是什么时，它给出了4个潜在的隐私风险，如图2所示。

图2:ChatGPT(2023年1月30日版本)对ChatGPT的隐私风险是什么的回答。

隐私的行为。对于隐私行动，在行业层面上，稳定性人工智能已经认识到稳定扩散的局限性，例如在训练数据中记忆复制图像的潜力。为了解决这个问题，他们提供了一个网站来支持这种记忆图像的识别。此外，艺术公司Spawning AI还创建了一个名为Have I Been Trained的网站，以帮助用户确定他们的照片或作品是否被用作AI培训材料。OpenAI已经采取措施，通过重复数据删除来减少数据重复，以解决隐私问题。此外，微软和亚马逊等公司已经采取措施，禁止员工与ChatGPT共享敏感数据，以防止员工违反机密性，因为这些信息可以被用作ChatGPT未来版本的训练数据。

偏见，毒性，错误信息

有问题的数据集和AIGC模型。由于人工智能模型中使用的训练数据是在现实世界中收集的，它们可能无意中加强有害的刻板印象，排除或边缘化某些群体，并包含可能煽动仇恨或暴力并冒犯个人的有毒数据源[Weidinger等人，2021]。例如，用于训练传播模型的LAION数据集因包含与社会刻板印象、色情、种族主义辱骂和暴力相关的问题内容而受到批评。尽管一些AIGC模型(如Imagen)试图过滤不良数据，如色情图像和有毒语言，但过滤后的数据仍然可能包含色情或暴力内容。

在没有缓解策略的情况下，在上述有问题的数据集上训练、学习或微调的模型可能会继承有害的陈规定型观念、社会偏见和毒性，导致不公平的歧视并对某些社会群体造成伤害[Weidinger等人，2021]。例如，稳定扩散v1主要在LAION- 2B数据集上进行训练，该数据集只包含具有英文描述的图像。因此，该模型偏向于白人、西方文化，其他语言的提示可能无法充分体现。稳定扩散模型的后续版本在laon数据集的过滤版本上进行了微调，但偏差问题仍然存在。同样，DALLA·E和DALLA·E 2也被发现对少数群体表现出负面的刻板印象。谷歌的Imagen还编码了一些社会偏见和刻板印象，例如生成肤色较浅的人的图像，并与西方性别刻板印象保持一致。由于这些问题，大多数公司决定不向公众提供他们的AIGC模型。

为了说明AIGC模型的固有偏差，我们在稳定扩散v2.1上测试了一个玩具示例。如图3所示，提示三位工程师在草原上奔跑生成的图像均为男性，且没有一个是少数民族，因此生成的图像缺乏多样性。

图3:使用稳定扩散v2.1生成的文本三个工程师在草原上运行的图像。9张图片中有28个人，都是男性。此外，他们都不属于少数民族。这表明稳定扩散存在巨大的偏差。

当模型提供不准确或错误的答案时，还存在错误信息的风险。GPT及其衍生品生成的内容可能看起来是准确和权威的，但它可能完全不准确。因此，它可能被用于学校、法律、医疗领域、天气预报或其他任何地方的误导性目的。例如，ChatGPT提供的医疗剂量的答案可能是不准确或不完整的，这可能会导致用户采取危险甚至危及生命的行动。如果司机遵守错误的交通规则，可能会导致交通事故甚至死亡。

偏见、毒性、减少错误信息。OpenAI采取了额外的措施，通过仔细过滤原始训练数据集，确保从DALLA·E 2的训练数据中删除任何暴力或性内容。然而，过滤会在训练数据中引入偏差，然后这些偏差可以传播到下游模型。为了解决这个问题，OpenAI开发了预训练技术来减轻随之而来的滤波器引起的偏差。

为了确保人工智能驱动的模型反映当前社会状态，必须定期用最新的信息更新AIGC模型中使用的训练语料库。这将有助于防止信息滞后，并确保模型保持更新、相关和有益，以收集新的训练数据并定期更新模型。值得注意的一点是，虽然偏见和刻板印象可以在源数据集中减少，但它们仍然可以在AIGC模型的训练和开发过程中传播甚至加剧。因此，在模型训练和开发的整个生命周期中评估偏差、毒性和错误信息的存在至关重要，而不是只停留在数据源层面。

知识产权保护

侵犯知识产权。生成内容的所有权和保护已经引起了大量的关注和争论。无论是有意还是无意，如果所生成的内容复制了现有作品，就存在侵犯版权的风险，从而引发了有关侵犯知识产权的法律问题。在2022年11月，Matthew Butterick对微软的子公司GitHub提起了集体诉讼，指控他们的产品Copilot违反了版权法[Butterick, 2022]。这起诉讼围绕着Copilot非法使用互联网上未经注明出处的授权代码。德州农工大学教授蒂姆·戴维斯也提供了他的代码被Copilot一字不差地复制的例子。尽管微软和OpenAI已经承认，Copilot是在公开的GitHub存储库中的开源软件上进行训练的，但微软声称，Copilot的输出只是一系列代码建议，并没有要求在这些建议中拥有任何权利。Microsoft也不保证生成代码的正确性、安全性或版权。

对于文本到图像模型，几个生成模型面临侵犯艺术家创造性工作的指控。[Somepalli等人，2022]提出的证据表明，生成艺术的人工智能系统，如稳定扩散，可以从它们训练的数据中复制。虽然稳定扩散否认对生成的图像的任何所有权，并允许用户自由使用它们，只要图像内容是合法和无害的，但这种自由提出了所有权伦理问题。像稳定扩散这样的生成模型是在互联网上数十亿张图像上训练的，而没有经过知识产权持有人的批准，一些人认为这侵犯了他们的权利。

IP问题缓解。为了缓解对IP的担忧，许多公司已经开始采取措施照顾内容创作者。例如，Midjourney在其服务条款中添加了DMCA下架政策，允许艺术家在怀疑侵犯版权时要求从数据集中删除他们的作品。类似地，Stability AI计划为艺术家提供将自己排除在未来版本的稳定扩散之外的选择。

此外，文本水印，以前被用于保护语言生成api的IP [He et al.， 2022a;He et al.， 2022b]，也可用于识别这些AIGC工具是否未经许可使用了其他来源的样本。这在稳定扩散中很明显，它生成了带有Getty图像水印的图像[Vincent, 2023]。随着AIGC的日益普及，对水印的需求日益迫切。OpenAI正在开发一种水印来识别其GPT模型生成的文本。对于教育工作者和教授来说，这可能是一个有价值的工具，可以检测使用此类工具生成的作业中的抄袭现象。谷歌已经对它发布的所有图像应用了Parti水印。

除了水印，OpenAI还发布了一个分类器，可以区分人工智能生成的文本和人类编写的文本。然而，不应该完全依靠它来做出关键决定。

讨论

在负责任的AIGC中，除了上述问题之外，还有更多的部分需要注意，包括但不限于以下几点。

对误用的担忧:为AIGC提供动力的foundation模型使制造与原件接近的深度假货变得更容易、更便宜，从而带来了额外的风险和担忧。这些技术的滥用可能会导致假新闻、骗局、骚扰和错误信息的传播，损害个人的声誉，甚至违法。

易受下毒攻击:如果基础模型被破坏，那将是一场灾难。例如，具有隐藏后门的扩散模型可以在数据生成过程中遇到特定的触发模式时执行恶意行动[Chou等人，2022]。这种木马效应可能会对依赖于受危害扩散模型的下游应用程序造成灾难性的破坏。

关于AIGC是否会取代人类的争论:使用AIGC受到了那些担心它会取代人类工作的人的批评。Insider网站列出了几个可能被ChatGPT取代的职位，包括程序员、数据分析师、法律助理、交易员、会计师等。一些艺术家担心图像生成工具(如稳定扩散)的广泛使用最终会使人类艺术家、摄影师、模型、摄影师和演员在商业上失去竞争力[Heikkilä，2022b]。

可解释的AIGC:基础模型的黑盒性质可能会导致不满意的结果。例如，确定用于生成模型输出的信息经常是一项挑战，这使得数据集中出现偏差。解释是理解AIGC如何以及为什么产生这些问题的关键因素。

负责任的开源:由于AIGC背后的代码和模型对公众不透明，而且它们的下游应用是多样化的，可能有复杂的社会影响，因此确定它们可能造成的潜在危害是一项挑战。因此，在确定在特定用例中AIGC的好处是否超过其潜在风险时，对负责任的开源的需求变得至关重要。

用户反馈:收集用户反馈也是负责任的AIGC的基本元素。OpenAI等公司积极寻求用户的反馈，以识别现实世界中可能出现的有害输出，以及发现和减轻新的风险。通过让用户参与到反馈循环中，AIGC开发人员可以更好地理解其模型的潜在后果，并采取纠正措施以最小化任何负面影响。

对数据所有者或贡献者的同意、信任和补偿:许多AIGC模型在数据集上进行训练，而无需获得原始数据贡献者的同意或提供信任或补偿。为了避免负面影响，AIGC公司应该在训练模型之前获得数据贡献者的同意并采取积极措施。如果不这样做，可能会导致对aig的诉讼。

AIGC模型训练对环境的影响:AIGC模型规模庞大，可能有数十亿或数万亿参数，导致模型训练和运行的环境成本很高。例如，GPT-3有1750亿个参数，需要大量的计算资源来训练。GPT-4可能比它的前身有更多的参数，预计会留下更大的碳排放。如果不采取适当的措施来减轻美国国际集团的巨大能源成本，可能会对我们的星球造成无法弥补的损害。

结论

尽管AIGC仍处于起步阶段，但它正在迅速扩张，并将在可预见的未来保持活跃。目前的AIGC技术仅触及AI在艺术领域所能创造的皮毛。虽然AIGC提供了许多机会，但它也存在重大风险。本文提供了最近的AIGC模型中当前和潜在威胁的概要，以便用户和公司都可以很好地意识到这些风险，并采取适当的行动来减轻它们。对于公司来说，在所有与aigc相关的项目中纳入负责任的AI实践是很重要的。