## 335｜哈佛将发布100万本图书的开源数据集，提供给所有人训练AI模型，助力中小企业发展

伙伴们，快刀广播站又开始广播了。

今天我想和大家分享一个关于AI背后的故事。众所周知，AI的三大要素是算力、算法和数据。在去年的这个时间，我们讨论的大部分还是算力的问题，但是仅仅过去一年，现在大家讨论的基本都是数据和落地场景了。尽管算力等因素当然也重要，但随着时间的推移，数据的重要性将愈发显著。高质量、优质甚至专业的数据对AI的最终表现起着决定性的作用，所以优质数据是有可能变成一个企业的护城河。

哈佛大学在12月13号宣布，他们将发布一个包含近100万本公共领域书籍的高质量数据集。这个数据集将对所有人开放，任何人都可以使用这些数据集来训练AI模型或构建其他人工智能产品。这个项目由哈佛大学新成立的一个机构“数据计划”创建，并得到了微软和OpenAI的支持。

不过现在只是放出了这个消息，还不知道什么时候发布。但是这如果真的上线，至少对很多类似得到这样的创业公司会有非常大的帮助。

之所以称为公共领域的数据集，是因为其中包含了大量各个方向、各年代和语言的经典作品，如莎士比亚、狄更斯和但丁的作品。这个项目的负责人，同时也是哈佛这个机构的执行董事乐伯特，在接收采访的时候，表示：“这个项目将为大众，尤其是AI行业的初创公司和研究人员，提供极大的帮助。因为目前市面上顶尖AI模型的数据集已经非常完善，但对于新兴公司和研究人员来说，这样的资源无疑是宝贵的。如果一个小型初创公司想要开始开发AI模型，那么高质量的数据集，尤其是图书数据库，就显得尤为重要。这相当于将数据集开源。”

众所周知，图书通常有版权期限，因此这个数据集主要包含的是近百万本已过版权保护期的公版书籍。虽然许多书籍已过版权期，但如果没有这样成型的数据集，如果每个初创公司都需要从头开始收集和清洗数据，那将非常耗费精力，并且在重复造轮子。

过去一年中，全球都发生过很多起媒体和AI公司之间的诉讼，核心问题在于AI公司是否使用了媒体的版权内容进行训练和使用。无论是谷歌、OpenAI还是其他公司，都面临着相同的版权挑战。对于这些头部公司来说，主要的挑战在于他们的数据来源是否合法，是否使用爬虫抓取了许多领域的私有数据。对于许多初创企业来说，优质数据的缺乏常常成为发展的瓶颈。随着时间的推移，那些拥有雄厚资金和先发优势的公司，AI方面的优势将愈发明显。

除了媒体之外，今年在美国，作家工会也发起了行动。他们向生成式AI公司发出了一封公开信，信中指出，为了公平起见，这些公司应该为使用作家的作品给予补偿。信中强调，如果没有作家的作品，AI将会变得极其平庸，作用也会极其有限。这封信已经获得了超过一万名作家的签名支持。

作家工会组织的首席执行官拉森·伯德在接受媒体采访时表示，他们的目标是确保未来AI公司只使用经过许可的数据集。

不同的人由于角色不同，对同一件事情的态度也各不相同。例如，作家兼程序员马修·巴特里克今年代表几位作者参与了两起类似的AI版权诉讼。他认为，AI公司利用受版权保护的数据来训练人工智能的普遍做法令人愤慨。他形容这些AI公司的行为为盗窃，因为开源并不意味着可以随意使用他人创作的内容并免费传播。如果AI公司能够直接通过搜索等方式将受版权保护的作品提供给用户，那么所有的收入将会流向这些AI公司，成为它们的收入。然而，这样的话，用户就不会去购买书籍或其他出版物，这将导致大量作者失去创作新书的意愿。这对整个知识生产和出版领域来说是一个致命的打击。

今天我们讨论的哈佛大学即将发布的免费AI训练数据集，首先规避了版权内容的风险。举个例子，如果在国内，每个出版社可能会出版自己风格的《三国演义》，在装潢和细节上有所不同，因此定价也会不同。但《三国演义》本身的文字版权属于罗贯中，所以它可以作为公开数据集供训练使用。

从这个例子延伸开来，AI在过去两年的发展中，关于版权的界定持续引发多轮讨论。因为目前每个国家，甚至同一国家的不同地区，对AI生成内容的版权归属和划分都有很大差异。举个例子，如果我写了一篇文章，其他人看到后，将我的文章交给AI，并要求根据原意改写一遍，不能有一个字重合。那这样的话，每一个字都改得与原文不同，但整个核心思想仍源自我原来的稿件，这种情况，如何划分版权？目前，并没有看到好的解决方法。

然而，像哈佛这样的公开数据库项目的推进，对许多初创的人工智能企业和个人开发者来说是非常有利的。这意味着在开源环境中，我们可以获得非常优质的数据资源，从而缩小与财力雄厚的大公司之间的差距。虽然看起来一百万本书是一个庞大的数量，但实际上，对于许多AI项目来说，一百万本书可能只是其中的一个数据集而已。未来，会有更多专业化的数据和开源数据库出现，比如用于视觉识别或音频识别的数据库。所以这样的公开数据集，就有点像很多的开源项目一样，对中小企业和个人开发者非常有帮助，而真正成长到一定的规模，再去讨论如何付费和商业化，这样就在起点上，让小公司与大公司之间的差距不至于变得过于悬殊。

回头等这个项目真正上线的时候，我再来跟大家介绍一下，这一百万种图书，到底包含了哪些内容。

最后提醒你一下，订阅了AI学习圈的同学，记得点击文稿区的链接，添加AI学习圈小助手，可以领取超多AI学习资料，还可以及时获取圈内的最新消息，比如：新课动态、各种活动的超前预告等。

点击添加AI学习圈小助手

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024121317/1861954842785239648/121317.jpeg)
