稀有书进入AI训练流水线
亚马逊被曝正在购买大量稀有书籍,并通过切除书脊、扫描内容的方式,将这些纸本文献转化为可用于AI训练的数据。
据404 Media报道,该媒体曾在一本稀有书中放入追踪设备,最终发现这本书抵达了亚马逊位于拉斯维加斯的一处设施。报道提到,该设施代号为VGT3,并以一只爪中握书的恐龙图案作为标识。亚马逊向404 Media回应称,公司“通过商业渠道购买书籍,以改进客户使用的产品和服务”。
这一事件之所以引发关注,不只是因为亚马逊曾以在线书店起家,更因为被处理的对象是稀有书。对收藏者、图书馆和研究者而言,稀有书往往具有版本、装帧、批注和存世状态等多重价值;而对AI公司来说,它们则可能意味着互联网上难以找到的新文本来源。当一本书被切脊扫描后,获取数字文本的效率提高了,但实体书本身通常会受到不可逆损伤。
大模型为何盯上纸本文献
大语言模型,简称LLM,是通过海量文本学习语言模式、知识关联和表达方式的AI系统。过去几年,模型训练高度依赖互联网上可获取的网页、论坛、书籍片段和开放数据。但随着主要公开文本被反复抓取,新的高质量语料变得更稀缺。
报道指出,像亚马逊这样的公司需要规模极大的文本来训练LLM,而模型已经吸收了大量互联网上可得到的内容。此前,Anthropic还曾因使用盗版书籍训练模型而卷入争议。相比之下,通过商业渠道购买纸本书,再自行扫描,可能成为另一条获取文本的路径。
稀有书尤其有吸引力,原因在于:
- 许多内容不在互联网上,或已经绝版;
- 纸本文献可能包含较少被模型见过的语言、知识和表达;
- 2022年前出版的文本不可能由大语言模型生成;
- 对训练方而言,这类数据可降低重复语料比例。
这里的时间点很关键。生成式AI普及后,网络上出现大量AI生成内容。如果模型继续大量学习这类内容,可能发生所谓“模型崩塌”:即模型在反复吸收AI生成文本后,输出质量下降、语言分布变窄、错误模式被放大。简单说,模型如果长期“吃自己产出的内容”,可能越来越失真。
商业购买不等于争议消失
亚马逊的回应强调“通过商业渠道购买书籍”。这说明相关书籍并非报道中所称的盗版来源,但争议并未因此消失。首先,纸本书的所有权与文本内容的再利用权并不完全等同。购买一本书通常意味着拥有该实体副本,却不必然意味着可以不受限制地将其内容用于训练商业AI系统。
其次,稀有书的处理方式涉及文化保存问题。数字化本身并非负面行为,图书馆和档案机构长期通过扫描保护濒危文献。但不同之处在于,公共机构的数字化往往以保存、研究和访问为目标,并尽量减少对原件损害;商业AI训练则更强调数据提取效率和模型收益。当稀有书被视作“数据矿”而非文化物品,社会对其处理边界的要求会更高。
第三,透明度仍是核心问题。报道只披露了VGT3设施、追踪实验和亚马逊的简短回应,尚未说明亚马逊购买了多少稀有书、具体来源有哪些、扫描后文本用于哪些产品或模型,也没有提供有关保存原件或补偿作者、出版方的更多信息。在这些问题上,公开信息仍然有限。
从书架到算力中心的行业信号
这起事件折射出大模型行业的新阶段:早期竞争集中在算力、参数规模和网页数据抓取,如今竞争正在转向稀缺、高质量、低重复的数据。互联网公开文本不再是取之不尽的资源,线下档案、绝版书、专业文献和未数字化资料,都可能成为下一轮数据争夺的对象。
对普通用户而言,这不是一个只属于图书收藏圈的新闻。AI产品质量最终取决于数据来源、训练方式和治理机制。如果企业为了提升模型表现而转向更封闭、更稀缺的文化资料,那么版权、保存、透明度和公众利益之间的冲突会更加尖锐。
未来,行业可能需要更清晰的规则:企业如何证明训练数据来源合法,如何处理具有文化价值的实体文本,是否应披露重要数据来源类别,以及作者、出版方和公共机构能否参与收益分配。亚马逊事件提醒人们,大模型竞争已经不只是“谁拥有更多芯片”,也关乎谁能取得未被数字化的知识,以及社会是否接受这种取得方式。




