美国AI公司抢购中文书训模型,台“中科院”早有布局
美AI公司在台湾地区大肆采购中文书籍训练大语言模型 据自由时报11月10日报道,台军政人士近称,美国AI公司为训练大语言模型,曾大肆在台湾地区采购中文书籍;而早在大语言模型问世时,台“中科....
美国AI公司为训练大语言模型,曾在台湾地区大批采购中文书籍。自由时报11月10日引述台军政人士说法称,早在各类大语言模型问世时,台“中科院”就已列出书目并采购,内容涉及战术、战法、战技,用于训练专家模型。该人士据此认为,无须担忧相关书籍被外国企业抢购。
韩国《中央日报》10月19日刊出的调查报道给出另一条线索:台湾图书经销商联合发行(United Distribution Co.)从2024年11月起,分16批把简、繁体中文书籍运往美国,总重约563吨,买方是二手书商“共建美好世界图书公司”(Better World Books)。这家书商是人工智能企业安特罗匹克公司(Anthropic)大量收购纸质书籍的重要合作商。书籍流向安特罗匹克公司的“巴拿马计划”(Project Panama):大批纸质书被切散、扫描,完成数字化后转为AI训练数据。这种处理方式会大量损毁书籍,珍贵的绝版、冷门或专业书籍可能就此消失,外界由此生出担心。
中文图书供应大语言模型训练的业务,欧美其它公司也在做。加拿大天际公司公开面向AI团队提供简体中文纸质书,文学、历史、科技、医学等门类都在供货范围内。按该公司自述,可供10万余种国际标准书号,并能发往美国,近期曾接到6万种不同国际标准书号的订单,具体买家及最终用途未予披露。该公司2011年3月与中国国际图书贸易集团(CIBTC)合资成立中国图书贸易(加拿大)有限公司(China Book Trading (Canada) Inc.),共同经营出版中文书刊。
电子书渠道同样有动作。全球最大的、非营利性的开源数字图书馆元搜索引擎“安娜的档案”(Anna's Archive)于2023年11月4日自称取得源自中国读秀数据库的754.3万份中文图书扫描文件、约359TB数据,并向大语言模型开发者提出合作邀约:以“光学字符识别”(OCR)和文本提取换取一年优先独占访问。
有分析认为,美国人工智能公司通过多种渠道大批采购中文书籍训练大语言模型,既牵涉珍贵书籍的保护,也存在数据安全隐患,需要重视。
加拿大天际公司界面截图
加拿大天际公司发展历程截图
安娜的档案(Anna's Archive)自称取得源自中国读秀数据库的754.3万份中文图书扫描文件、约359TB数据