4月23日,有媒體爆料稱,百度文心一言啟動邀測一個多月時間里,已經迭代了4次,推理性能提升近10倍,其中業內首創支持動態插入的分布式推理引擎,推理性能提升了123%。
百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰談及文心一言近況,他表示:“文心一言的進步首先是基于百度人工智能四層架構的全棧布局,從芯片、深度學習框架,到大模型,再到應用,實現了層與層反饋,端到端優化。尤其是飛槳和文心一言的聯合優化,大幅提升模型訓練和推理速度。同時文心一言也建立起人類反饋、獎勵模型和策略優化之間的飛輪機制,隨著真實用戶的反饋越來越多,模型效果越來越好,能力越來越強?!?/span>
有分析人士解讀認為,“大模型就仿佛汽車的發動機,光賬面上的動力強,參數大是沒有用的,要壓榨出發動機瞬時最大爆發力(QPS)以及最優的性能表現。深度學習框架就像是生產發動機和變速箱的,可以讓發動機整體部件組合更精密、動力更強。自研產品彼此適配度更高,協同會更高效,這可能是效率提升的最根本原因?!?/span>
據了解,飛槳支撐了文心一言從開發訓練到推理部署的全流程。例如,在大模型訓練上,飛槳的端到端自適應分布式訓練技術,通過自動感知硬件環境,多維混合并行策略,異步流水線執行等,支撐了大模型高效訓練;在推理部署上,飛槳支持大模型高效推理,提供服務化部署能力,包括計算融合、軟硬協同的稀疏量化、模型壓縮等,提升推理效率,幫助節約算力資源。
IDC《中國深度學習框架和平臺市場份額,2022H2》報告顯示,百度穩居中國深度學習平臺市場綜合份額第一,領先優勢進一步擴大。中國深度學習開源框架市場形成三強格局,飛槳PaddlePaddle超過谷歌TensorFlow,框架市場前三份額超過80%。(喬文)
編輯:李芊諾
責編:張永杰
審核:王棕寶
請輸入驗證碼