人工智能（AI）語料庫是匯集大量來自書籍、學術文章、社交媒體等渠道的文本、圖片、音頻、視頻數據集合，是人工智能領域研究和應用的基礎數據。目前，國際主流大模型訓練語料庫以英文語料為主，中文語料占比不超過5%。中文人工智能語料庫匱乏制約了我國大模型性能飛躍和技術創新。賽迪智庫電子信息研究所建議加快專業語料建設，提升語料數據質量；優化基礎設施建設，維護語料數據安全；完善語料生態環境，構建評估作價體系。

國內外AI語料庫存在差異

大規模、高質量的語料數據是訓練和評估模型的基礎。一是從海量語料數據中提取語法結構、語義特征能夠提升模型泛化性和準確性。OpenAI基于3000億個單詞和超過40TB語料訓練GPT-3模型，能夠準確理解用戶問題并生成自然流暢的文本內容。谷歌使用涵蓋書籍、新聞等廣泛領域的海量文本訓練BERT模型，使其文本翻譯、情感識別等任務的準確度提高。二是高質量語料數據可以提高模型性能和訓練效率。谷歌PaLM2模型采用包含多種語言和科學數據的改進語料庫訓練，其翻譯、推理、代碼生成能力得到顯著提升。三是專業領域語料庫驅動AI技術創新和應用落地。通用語料庫難以滿足特定專業領域需求，通過收集醫療、金融等專業領域的術語和概念擴展專業領域語料庫，加速相關領域算法創新和應用推廣。

國外語料庫在數據規模、開源建設和應用場景方面具有先發優勢。一是英文語料庫數據規模龐大，語料來源渠道豐富。GPT-3訓練語料CommonCrawl廣泛收集了來自網頁文本、書籍和學術論文等多渠道的文本數據，數據規模達到拍量級（1PB=220GB）。華盛頓大學等高校機構組織構建的開源數據集MINT-1T，包含1萬億個文本構建塊和30億個圖像。二是英文AI語料庫在標準化建設和開源共享方面擁有優勢。歐洲語言資源協調機構通過制定數據采集、標注和共享標準，整合歐洲各國及全球范圍內的語料資源，推動語料庫規范化發展。谷歌、微軟等科技巨頭允許開發者通過應用程序開發接口訪問其語料庫。三是國外企業和研究機構正加大對多模態AI語料庫的建設力度。多模態AI語料庫能夠提升模型處理復雜任務和跨領域應用的能力。Meta借助社交平臺積累多模態語料提升模型對圖像的理解能力，并將其集成在智能眼鏡上。亞馬遜通過構建語音語料庫，推動其語音助手在智能家居和語音交互領域的應用。

國內企業和研究機構積極跟進中文AI語料庫建設。一是中文AI語料庫在數據規模和多樣性方面取得顯著進展。中國大模型語料數據聯盟發布“書生·萬卷”多模態語料庫，涵蓋來自網頁、書籍、百科等不同來源的清洗后預訓練語料，數據規模超2TB。智源研究院聯合多家數據單位建設全球最大中文語料數據庫WuDaoCorpora，涵蓋1.2TB中文文本數據、2.5TB中文圖文數據。二是特定行業或專業領域的中文AI語料庫建設已初具規模。科大訊飛構建用于訓練和優化語音識別模型的語料庫，包含多種語言、方言和口音的數據。上海交通大學創建包含6種語言和21種醫學子課題的多語言醫療語料庫，用于提高醫療診斷模型的準確度。南京大學以法律文書、司法考試為基礎構建法律領域對話數據集，以提高模型對法律內容的理解能力。三是高質量中文語料短缺是當前語料庫建設亟待解決的問題。現有中文語料來源廣泛但質量參差不齊，未經清洗包含錯別字、語法錯誤和價值觀偏見的語料會影響模型訓練效果。此外，我國語料庫建設規范性不足，數據標注標準不一、語料庫結構差異明顯以及相關企業共享意愿不足，導致高質量中文語料積累薄弱。

AI語料庫面臨三大挑戰

語料收集受限于數據來源、版權以及隱私保護法規。一是語料來源的單一性限制了對多樣化、高質量文本數據的獲取。尤其在特定專業領域語料資源匱乏的情況下，難以收集足夠的文本數據來訓練更具泛化性的AI模型。二是版權問題進一步增加了語料收集的難度。文本資源通常受到版權保護，未經授權的使用可能引起法律糾紛，也限制了研究人員和開發者對語料的獲取和使用。三是隱私保護法規對語料收集提出了嚴格要求。例如，歐盟《通用數據保護條例》規定在處理涉及個人信息的數據時，必須確保匿名化或得到數據主體的明確同意，否則將面臨法律風險，同時增加了語料收集的成本。

語料數據的清洗和標注需要投入大量人力成本。一是語料清潔性是語料庫建設、流通和使用的前提。對收集到的原始語料進行過程繁瑣的去噪、去重、標準化等清洗操作，以確保輸入模型數據的準確性和一致性。二是專業語料標注通常依賴人工標注。語料標注的專業性、復雜性要求標注者具備專業知識，能夠對語料進行初步分析和判斷，如詞性標注、句法結構標注、情感分析等。三是語料標注容易受到標注者主觀判斷的影響。自動化標注工具雖有所發展，但其在處理復雜語義或細微語境時的精度和可靠性尚不能完全替代人工標注，而不同標注者的主觀判斷標準不同，將導致標注不一致或標注錯誤。

海量語料存儲、同步處理和安全管理的難度大。一是大規模語料庫需要龐大算力設施支撐。語料庫規模不斷擴大，企業和研究機構需要購買大量分布式存儲系統、圖形處理單元和云計算平臺等技術設備，而中小型企業和研究機構往往難以承擔基礎設施建設和維護的成本。二是分布式存儲系統面臨不同節點語料同步處理困難的問題。存儲節點分散、語料分布不均、網絡傳輸延遲等因素導致分布式存儲系統難以完成對實時性要求高的任務。三是語料庫面臨網絡攻擊、數據泄露等安全隱患。海量語料中可能包含大量敏感、有價值的數據，分布式存儲環境增加了語料庫被黑客攻擊的風險。

不斷提升語料數據質量

加快專業語料建設，提升語料數據質量。一方面，加大對專業領域語料庫的建設投入。通過設立專項基金或項目資金補貼等方式支持專業領域語料庫建設和運營，同時，引導企業、科研機構、高校等主體形成合作共建聯合體，推進跨領域、跨機構合作的數據資源共享，實現專業領域語料的有效整合，提高語料資源的利用率。另一方面，優化數據收集與標注流程。結合自動化工具與人工審查，定期對語料進行更新擴充、監測維護，并形成優質的標準化語料庫和完備的數據生命周期管理體系，確保語料數據的質量。

優化基礎設施建設，維護語料數據安全。一方面，優化計算資源配置與基礎設施建設。采用混合云架構、自動化調度和負載均衡技術，根據訓練任務需求合理規劃資源配置，提高語料庫使用效率。另一方面，加強對語料安全與隱私保護技術的研發。采用加密技術、訪問控制等手段，確保數據的安全和用戶的隱私。鼓勵企業建立數據安全管理體系，定期進行安全評估和漏洞檢測，確保語料庫的安全性。

完善語料生態環境，構建評估作價體系。一方面，從國家層面建立大規模、公開的語料庫。面向社會各界征集高質量語料資源，通過給予獎勵和補貼等形式鼓勵優勢企業和研究機構參與中文國家AI語料庫建設，推進具有科研價值的公共語料資源的開放力度。另一方面，建立語料產品評估標準和作價體系，明確語料版權歸屬。鼓勵行業內企業和科研機構共同探索數據合作機制與商業模式，促進語料資源在合法合規前提下的開放共享與交易。