RedPajama 5TB

包括七个子集

1. ArXiv（或称为arXiv）：ArXiv是一个开放的学术预印本平台，提供了物理学、数学、计算机科学等领域的学术论文的在线发布和共享。

2. Book（书籍）：各种类型的电子书籍的集合。

3. C4：C4是一个互联网爬取后清洗后开源数据集，其中包含来自Common Crawl的大量文本数据。它用于训练和评估自然语言处理（NLP）模型。

4. Common Crawl（互联网档案）：Common Crawl是一个非营利性组织维护的开放式网络爬虫项目，旨在收集和存档互联网上的网页数据。这个数据集包含了互联网上广泛的信息，可供研究和分析使用。

5. GitHub（代码数据集）：GitHub是一个面向开发人员的代码托管平台，让开发人员可以协作开发、管理和共享代码。它包含了各种开源软件项目和代码资源。

6. StackExchange（或称为Stack Exchange）：StackExchange是一个网络问答平台，其中包含许多不同主题的社区驱动的问答网站，供用户提问、回答问题和交流知识。

7. Wikipedia（维基百科）：Wikipedia是一个基于维基技术的免费在线百科全书，由全球志愿者协作创建和编辑。它提供了广泛的知识内容，覆盖了各个领域的主题。

RedPajama 是一个用于 LLM 预训练的开源数据集，类似于 Meta 的 SOTA LLaMA 模型。该数据集旨在创建一个媲美大多数流行 LLM 的开源竞争者，目前这些 LLM 要么是闭源商业模型要么仅部分开源。

https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T/tree/main

Belle数据集 6个子集