当前位置：
  1. 首页
  2. AI

Hugging Face开源Cosmopedia，250亿Token，全球最大AI训练数据集，引领AI新纪元。

2024-03-22

2 月 23 日消息，Hugging Face 近日开源了一款名为“Cosmopedia”的 AI 训练数据集，号称是目前世界上最大的合成数据集。

注意到，该数据集内容均由 Mixtral 7b 模型汇总生成，其中收录 3000 万以上文本文件，包含大量教科书、博客文章、故事小说、WikiHow 教程等内容，共计 250 亿个 Token。

Hugging Face开源Cosmopedia，250亿Token，全球最大AI训练数据集，引领AI新纪元。 (https://www.qianyan.tech/) AI 第1张

据悉，Cosmopedia 数据集除了收录上述文本文件外，还为每条文件提供了标注信息，其中包含“提示”、“合成内容”、“初始数据来源”、“标记长度”、“类型”和“目标受众”等。同时团队也提供较小的子数据集 Cosmopedia-100k，供用户轻松管理和使用。

Hugging Face开源Cosmopedia，250亿Token，全球最大AI训练数据集，引领AI新纪元。 (https://www.qianyan.tech/) AI 第2张

Hugging Face 表示，这次开源的数据集为 0.1 版本，未来团队还将持续更新该数据集，推进业界 AI 训练发展，感兴趣的小伙伴可以点此访问项目地址。

上一篇

下一篇

相关推荐