3月25日，曠視科技正式發(fā)布AI生產(chǎn)力平臺Brain++，并開源Brain++的核心組件——工業(yè)級深度學(xué)習(xí)框架天元（MegEngine），降低AI開發(fā)者開發(fā)門檻。曠視聯(lián)合創(chuàng)始人兼 CTO 唐文斌表示，天元開源可讓Brain++產(chǎn)生更大價(jià)值，為用戶提供更完善的集成開發(fā)環(huán)境，將產(chǎn)品從實(shí)驗(yàn)室原型到工業(yè)部署原本數(shù)周或數(shù)月的時(shí)間縮至小時(shí)級。 

開源35萬行代碼 囊括大多數(shù)應(yīng)用場景 

     為了這次開源，曠視為天元做了一次全面升級。本次發(fā)布為Alpha版本，基于Apache License 2.0，共開源約35萬行代碼，包括C++、CUDA和Python代碼，囊括了大多數(shù)應(yīng)用場景。

     從技術(shù)角度來看，天元可分為五個(gè)層次： 最上面是計(jì)算接口層，向外連接了Python和C++接口，開發(fā)者可以通過Python和C++兩種語言對整個(gè)框架進(jìn)行使用和編程，以及系統(tǒng)的設(shè)計(jì)和研發(fā)、訓(xùn)練和推理； 接著是圖表示層，包含了動態(tài)圖和靜態(tài)圖的表示功能； 再往下是一個(gè)完整的一體化核心計(jì)算引擎，具有自動求導(dǎo)機(jī)制、圖優(yōu)化和圖編譯功能，有了這個(gè)層次就可以支撐起動態(tài)、靜態(tài)和接口完整的功能； 在這個(gè)層次之下的運(yùn)行時(shí)管理層由兩個(gè)主要部分組成，一部分是計(jì)算調(diào)度，可以將計(jì)算設(shè)備抽象為執(zhí)行流，由調(diào)度器對這些執(zhí)行流進(jìn)行合理調(diào)度，另一部分是一整套內(nèi)存管理機(jī)制，包括靜態(tài)內(nèi)存和動態(tài)內(nèi)存管理——這個(gè)模塊內(nèi)置了許多關(guān)于內(nèi)存的高級優(yōu)化，其中值得一提的是實(shí)現(xiàn)了靜態(tài)亞線性內(nèi)存的優(yōu)化器，使得內(nèi)存管理效率大幅提升； 最底層是支撐整個(gè)系統(tǒng)的核心計(jì)算內(nèi)核層，其中包含一個(gè)高性能算子庫，它支持常見的計(jì)算設(shè)備，包括X86、CUDA、ARM和專業(yè)計(jì)算芯片等——該層還包含一個(gè)高性能異構(gòu)通信庫，能夠使得整個(gè)計(jì)算框架在分布式多結(jié)點(diǎn)上大規(guī)模應(yīng)用，以支撐更大規(guī)模的訓(xùn)練。

實(shí)現(xiàn)“深度學(xué)習(xí)、簡單開發(fā)” 

      過去幾年，曠視在研發(fā)過程中遇到了很多行業(yè)共通的痛點(diǎn)，據(jù)介紹，天元的核心特性就是圍繞這些痛點(diǎn)展開的。 

一是訓(xùn)練推理一體化。深度學(xué)習(xí)從研究到生產(chǎn)的流程非常復(fù)雜，各階段模型精度往往很難對齊。而天元框架無需進(jìn)行模型轉(zhuǎn)換，可直接使用訓(xùn)練后得到的模型進(jìn)行推理，保證訓(xùn)練速度和精度與推理一致；模型訓(xùn)練結(jié)束后，可保證跨設(shè)備的模型精度實(shí)現(xiàn)對齊；可內(nèi)置自動模型優(yōu)化過程，減少手工模型遇錯(cuò)處理，形成高效的研發(fā)體系。這樣一來，AI真正落地要考慮的多端部署和在線服務(wù)問題就得以解決，大大減少了訓(xùn)練成本。 

二是動靜合一。靜態(tài)圖好部署，動態(tài)圖易調(diào)試，但二者往往難以兼得。針對這個(gè)痛點(diǎn)，天元集成了兩者優(yōu)點(diǎn)，在充分利用動態(tài)圖模型訓(xùn)練優(yōu)勢時(shí)，通過動靜態(tài)一鍵轉(zhuǎn)換功能，以靜態(tài)圖的形式完成生產(chǎn)部署。天元支持動靜態(tài)的混合編程，靈活性更強(qiáng)。開發(fā)者可在動態(tài)過程中非常方便地進(jìn)行原型研發(fā)和調(diào)試，同時(shí)可在生產(chǎn)環(huán)節(jié)借助靜態(tài)圖提速。測試中，靜態(tài)提速往往可達(dá)5%~20%。 

三是兼容并包。市場上很多框架的接口不同，需要重新進(jìn)行模型實(shí)現(xiàn)，對一般開發(fā)者來說成本較高。而天元代碼風(fēng)格與Numpy、PyTorch的寫法非常相似，在函數(shù)命名風(fēng)格和參數(shù)設(shè)計(jì)細(xì)節(jié)中尊重原有社區(qū)的傳統(tǒng)。開發(fā)者可便利地將以往模塊直接導(dǎo)入天元框架，和其它天元組件一起使用，更好地進(jìn)行模型復(fù)現(xiàn)。另外，曠視在計(jì)算機(jī)視覺領(lǐng)域的一些獨(dú)特積累也融入天元系統(tǒng)，讓計(jì)算機(jī)視覺研發(fā)更簡便。

四是靈活高效。AI生產(chǎn)企業(yè)可能面臨很多設(shè)備和場景，需要在每種設(shè)備上實(shí)現(xiàn)極致性能。針對這一痛點(diǎn)，天元在許多設(shè)備、算法上都能得到領(lǐng)先性能。天元內(nèi)置了一個(gè)高效的內(nèi)存優(yōu)化策略，可顯著減少訓(xùn)練時(shí)的顯存占用，在同類設(shè)備上訓(xùn)練更大模型，支持更多算法。天元還有很多內(nèi)存和速度的優(yōu)化機(jī)制，比如亞線性內(nèi)存優(yōu)化，在幾乎不降低計(jì)算速度前提下，達(dá)到256 Batch的訓(xùn)練能力。 借助以上四大特性，天元能夠?qū)崿F(xiàn)產(chǎn)品從實(shí)驗(yàn)室原型到工業(yè)部署的小時(shí)級轉(zhuǎn)化能力、大規(guī)模彈性訓(xùn)練，并支撐研究團(tuán)隊(duì)進(jìn)行最前沿的學(xué)術(shù)開發(fā)。這樣，天元就做到了“簡單開發(fā)”，讓開發(fā)者真正體驗(yàn)到“訓(xùn)得好”、“訓(xùn)得動”、“訓(xùn)得快”。

發(fā)力AI新基建 產(chǎn)品從實(shí)驗(yàn)室到工業(yè)部署可縮至小時(shí)級 

      天元是為工業(yè)級、研究院規(guī)模的研發(fā)機(jī)構(gòu)設(shè)計(jì)的，其核心特性均用于解決研發(fā)過程中的痛點(diǎn)。對曠視本身，開源則是“基于算法向產(chǎn)業(yè)方向升級、打造AI基礎(chǔ)設(shè)施”戰(zhàn)略的延伸。

     唐文斌說，只有AI芯片平臺和AI生產(chǎn)力平臺能夠被稱為AI基礎(chǔ)設(shè)施。其中，芯片平臺能夠承載AI計(jì)算，AI生產(chǎn)力平臺可以釋放生產(chǎn)算法的效能。天元全面開源可讓AI生產(chǎn)力平臺Brain++服務(wù)于更廣大的開發(fā)者，產(chǎn)生更大社會價(jià)值。

     何謂AI生產(chǎn)力平臺？在唐文斌看來就是“為用戶提供更完善的集成開發(fā)環(huán)境，滿足AI開發(fā)者從AI生產(chǎn)（輸出算法模型）到應(yīng)用（實(shí)現(xiàn)算法工程化封裝）各環(huán)節(jié)中，一站式、全流程算法研發(fā)的切實(shí)需求，將產(chǎn)品從實(shí)驗(yàn)室原型到工業(yè)部署原本數(shù)周或數(shù)月的時(shí)間成本，縮短到小時(shí)級。”

     以制造企業(yè)為例，工廠在配電產(chǎn)品質(zhì)量檢測中可能出現(xiàn)零部件顏色搭配錯(cuò)誤、字符印刷殘缺等情況，靠人工目檢效率低，靠機(jī)器視覺方案需要巨大投入。而通過Brain++這樣的AI生產(chǎn)力平臺，該制造企業(yè)可獲得從專業(yè)咨詢、數(shù)據(jù)生產(chǎn)、模型優(yōu)化到私有化AI平臺建設(shè)運(yùn)維等服務(wù)，降本增效且自主安全。 在落地實(shí)踐上，曠視數(shù)據(jù)管理平臺MegData可實(shí)現(xiàn)從數(shù)據(jù)抽取、清洗、標(biāo)注、管理全流程管理，再加上彈性算力共享平臺MegCompute及深度學(xué)習(xí)框架MegEngine，可將深度學(xué)習(xí)算法研發(fā)的能力與方案直接布署到工廠，極大降低整體訓(xùn)練成本，滿足產(chǎn)線上快速升級算法的要求。

     目前，曠視Brain++的這種打法已在制造業(yè)落地。施耐德想通過AI提升配電產(chǎn)品質(zhì)量檢測效率，但傳統(tǒng)的機(jī)器視覺方式存在精度差、模型升級難、研發(fā)部署周期長等痛點(diǎn)。曠視依靠數(shù)據(jù)增廣技術(shù)擴(kuò)充合成訓(xùn)練數(shù)據(jù)，幫助施耐德電氣實(shí)現(xiàn)智能化監(jiān)控產(chǎn)品質(zhì)量，同時(shí)降低了數(shù)據(jù)生產(chǎn)成本。（本報(bào)綜合）