网站可以阻止OpenAI网络爬虫，避免数据用于训练 GPT 模型

本文概要:

1. OpenAI 现允许网站屏蔽其网络爬虫，以防止其抓取网站内容训练 GPT 模型的。

2. GPTBot 可能是 OpenAI 允许互联网用户选择不让其数据用于训练其大型语言模型的第一步。

3. 在获取用于训练 AI 的数据方面存在争议，一些网站和作者提出限制 AI 公司使用其内容的要求。

OpenAI 现在允许网站屏蔽其网络爬虫，以帮助网站运营商防止其内容被用于训练 GPT 模型。

具体来说，网站可以通过在其 Robots.txt 文件中明确禁止 GPTBot 爬虫程序的出现，或者阻止其 IP 地址来实现屏蔽。

OpenAI 表示，通过使用 GPTBot 抓取的网页可能会用于改进未来的模型，但也会进行过滤以删除需要付费访问、包含个人身份信息或违反政策的内容来源。

阻止 GPTBot 可能是 OpenAI 允许互联网用户选择不让其数据用于训练大型语言模型的第一步。之前有一些尝试创建标记来排除训练内容的举措，例如去年 DeviantArt 提出的 "NoAI" 标签。然而，阻止 GPTBot 并不会从 ChatGPT 的训练数据中删除之前从网站上抓取的内容。

获取用于 AI 训练的数据已经成为一个越来越具有争议的问题。一些网站，包括 Reddit 和 Twitter，一直在努力限制 AI 公司对用户发布内容的免费使用，同时一些作者和创作人也因涉嫌未经授权使用其作品而提起诉讼。议员们在上个月的几次 AI 监管听证会上也关注了数据隐私和同意问题。

在获取数据方面，OpenAI 并未确认是否通过社交媒体帖子、受版权保护的作品或者互联网的哪些部分来获取数据。

据Axios报道，一些公司，如 Adobe，提出了通过反冒充法律来标记数据为不可用于训练的想法。包括 OpenAI在与白宫签署的协议中同意开发一种水印系统，以让人们知道某个内容是否由 AI 生成，但并未承诺停止使用互联网数据进行训练。