技術(shù)
導(dǎo)讀:谷歌靠它一統(tǒng)江湖,微軟狂砸百億美元,BAT奮起直追,AI開源的魔力是什么?
在人工智能的江湖,2015年是個(gè)關(guān)鍵時(shí)間節(jié)點(diǎn),這一年之前和之后,似乎是兩個(gè)截然不同的世界。
此前數(shù)年間,歷經(jīng)AI吊打在圖像識(shí)別賽吊打傳統(tǒng)算法、AI戰(zhàn)勝世界圍棋冠軍、DeepMind“委身”谷歌等標(biāo)志性事件,AI逐漸走出學(xué)術(shù)殿堂,開始用科幻般的“超能力”改變?nèi)藗兊恼J(rèn)知。
從這一年開始,科技巨頭的AI戰(zhàn)事從暗戰(zhàn)變?yōu)槊骶郑珹I也開始以前所未有的速度在全球爆發(fā),逐漸演化成為如今AI格局的雛形。
每當(dāng)我們提及第三次AI浪潮是如何復(fù)興的,數(shù)據(jù)爆發(fā)、算力崛起已成為標(biāo)準(zhǔn)答案,而一股隱形卻強(qiáng)大的力量卻往往被視而不見。
而這股力量,不僅是使得AI再度興盛的關(guān)鍵推手,也是科技巨頭贏得AI話語(yǔ)權(quán)的“上甘嶺”。
這股力量,就是開源。
當(dāng)國(guó)外谷歌Facebook微軟為升級(jí)迭代AI開源框架各顯其能,國(guó)內(nèi)以BAT領(lǐng)銜推進(jìn)的AI開源項(xiàng)目亦在暗流涌動(dòng)。
開源,黑客文化中誕生的奇跡
什么是開源的力量?這是包括AI在內(nèi)的計(jì)算機(jī)發(fā)展史中,一個(gè)熠熠生輝的話題。
開源,英文名Open Source,即開放源代碼,任何人可以在源代碼的基礎(chǔ)上進(jìn)行學(xué)習(xí)與修改。它從58年前的黑客文化中緩緩演進(jìn),而最早催生這一文化的MIT技術(shù)模型鐵路俱樂部的黑客們(Hackers),大都成為MIT AI實(shí)驗(yàn)室的核心成員。
如果說AI是一場(chǎng)饕餮盛宴,數(shù)據(jù)是原材料,算力是天然氣,算法是菜譜,那么開源就猶如無數(shù)廚師經(jīng)驗(yàn)與智慧合著成的一本永不完結(jié)的烹飪百科全書,其他廚師可以從中汲取經(jīng)驗(yàn)來快速完成菜品,也可以指出書中的問題、貢獻(xiàn)更多創(chuàng)意,讓這本書經(jīng)過無數(shù)人的完善后逐漸成為神作。
可以想象一下,一個(gè)人專門檢查代碼bug,它可能需要好幾天的時(shí)間還有紕漏;而如果一群開發(fā)者和測(cè)試者來查bug,那么代碼排錯(cuò)與演化的效率將得到驚人的提升。
如果能創(chuàng)建一個(gè)開放、有改進(jìn)能力的環(huán)境,驅(qū)動(dòng)成千上百的人才庫(kù)去反饋并提供設(shè)計(jì)空間拓展、代碼貢獻(xiàn)、Bug定位以及其他的改進(jìn),而一個(gè)封閉項(xiàng)目中,要多么頂級(jí)的黑客才能僅依靠自己就做到與這成千上百人抗衡。
在開源文化中,黑客們追求的是更高質(zhì)量的代碼、更完善的項(xiàng)目,其動(dòng)力也許是單純的熱愛,也許是對(duì)證明個(gè)人能力的渴望,但絕不是追求接近物質(zhì)財(cái)富的東西。
與之相悖的是閉源,由專門的研究團(tuán)隊(duì)開發(fā)一個(gè)軟件項(xiàng)目,不讓別人知道源代碼。選擇閉源的機(jī)構(gòu)無外乎幾種目的,擔(dān)心泄露機(jī)密,不想讓競(jìng)爭(zhēng)者使用它,或者想用它來賣錢。
這并不難理解,充斥著共享理念的開源文化,似乎與以營(yíng)利為核心目標(biāo)的商業(yè)世界天然不搭。即便是對(duì)在商業(yè)的考量中,開源的直接目的也不是為了營(yíng)收,而是為了借此開拓市場(chǎng)和生態(tài)以獲得更長(zhǎng)遠(yuǎn)的收益。同時(shí),開源也能有效防止閉源產(chǎn)品壟斷市場(chǎng)的局面出現(xiàn)。
相較而言,傳統(tǒng)開源項(xiàng)目會(huì)給開發(fā)者帶來更大的壓力,而開源開發(fā)者更為自由,他們只需專注在自己想要做的事情上,不必被上層的需求抽著鞭子往前走。
▲AI開源全棧示意圖
微軟就曾是閉源的典型代表,早期它采用軟件授權(quán)的模式,為其商業(yè)軟件建立起一整套完整定價(jià)。Windows操作系統(tǒng)正是微軟典型的閉源商業(yè)力作之一。盡管開源之光Linux操作系統(tǒng)沒能在商業(yè)戰(zhàn)場(chǎng)上干過微軟,但長(zhǎng)期站在開源對(duì)立面的微軟,最終還是選擇了擁抱開源。
開源既然要開放代碼,讓成千上萬人協(xié)作,那就需要一個(gè)足夠友好和安全的開源托管服務(wù),在這一背景下,GitHub應(yīng)運(yùn)而生。
2008年,克里斯·萬斯克拉斯已從辛辛那提大學(xué)英語(yǔ)專業(yè)輟學(xué)了三年,同普雷斯頓一起經(jīng)過夜以繼日地合作寫代碼,終于打造出能提供優(yōu)秀協(xié)作服務(wù)的代碼托管平臺(tái)GitHub,并專程找Twitter經(jīng)典logo的設(shè)計(jì)者西蒙·奧克斯利設(shè)計(jì)出其吉祥物章魚貓Octopuss。
▲克里斯·萬斯克拉斯(左上),普雷斯頓(右上),Github吉祥物章魚貓(圖下)
經(jīng)過十一年的發(fā)展,Github早已成為“全球最大程序員交友平臺(tái)”,它每年發(fā)布的Octoverse年報(bào)已成為呈現(xiàn)這一年度熱門開發(fā)項(xiàng)目、頂級(jí)編程語(yǔ)言等趨勢(shì)的權(quán)威榜單。例如從Github上我們可以看到,近年數(shù)據(jù)科學(xué)、深度學(xué)習(xí)、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)等主題的存儲(chǔ)庫(kù)正變得愈發(fā)流行,新的框架正吸引著成千上萬的貢獻(xiàn)者。
▲2016-2019年Github自然語(yǔ)言處理存儲(chǔ)庫(kù)的增長(zhǎng)變化
大約也是從Github成立那年起,微軟對(duì)開源文化的態(tài)度開始發(fā)生轉(zhuǎn)變。
2009年,微軟向Linux貢獻(xiàn)2萬行設(shè)備驅(qū)動(dòng)代碼;2011年,微軟一度躋身Linux 3.0五大公司貢獻(xiàn)者之一;2014年,“重塑”微軟的CEO納德拉喊出著名的“微軟愛Linux”;2016年,微軟推出了兼容 Linux 的 SQL 服務(wù)器數(shù)據(jù)庫(kù)軟件;2017年,微軟成為GitHub上貢獻(xiàn)代碼最多的公司,這一寶座蟬聯(lián)至今。
2018年6月,微軟斥資75億美元收購(gòu)Github,全球轟動(dòng)。
截至當(dāng)時(shí),GitHub上,聚集了約2800萬開發(fā)者、高達(dá)8500萬代碼庫(kù),僅是在去年,70%的全球財(cái)富50強(qiáng)公司均使用Github為開源做出貢獻(xiàn),包括微軟在AI時(shí)代的主要對(duì)手,蘋果、谷歌、亞馬遜等科技巨頭。
群雄混戰(zhàn)AI開源框架
▲部分主流AI框架項(xiàng)目社區(qū)活躍度指標(biāo)統(tǒng)計(jì)
AI框架上承應(yīng)用、下接芯片,堪稱智能時(shí)代的核心軟件支柱。
11月7日,GitHub發(fā)布年度報(bào)告,貢獻(xiàn)者最多的TOP10開源項(xiàng)目中,谷歌AI框架TensorFlow排名第五(9.9K)。
TensorFlow,當(dāng)前AI開源框架的扛把子,承載了“業(yè)界開源典范”谷歌在AI時(shí)代的野心。
憑借一個(gè)開源手機(jī)操作系統(tǒng)“安卓”,谷歌占據(jù)全球80-90%的智能手機(jī),坐擁超過40萬的開發(fā)人員和十多億用戶,據(jù)說憑借廣告、應(yīng)用、授權(quán)及付費(fèi)內(nèi)容等收入,一年能給谷歌賺30億美元。
“贏者通吃”的價(jià)值在安卓身上發(fā)揮的淋漓盡致,如今其在智能手機(jī)界的地位早已穩(wěn)如泰山,令其他未入局的大公司屢屢扼腕。連微軟創(chuàng)始人比爾·蓋茨都公開表示,自己犯下最大的錯(cuò)誤就是“因?yàn)楣芾聿簧?,?dǎo)致微軟沒有推出像安卓那樣標(biāo)準(zhǔn)化的、非蘋果的手機(jī)操作平臺(tái)”。
2015年11月,谷歌第二代深度學(xué)習(xí)框架TensorFlow橫空出世。
背靠谷歌這座開源大山,TensorFlow強(qiáng)勢(shì)崛起,借助于英特爾、NVIDIA等硬件平臺(tái)的配合打法,向全球開發(fā)者免費(fèi)供給AI庫(kù)與工具,成為Github上最受開發(fā)者歡迎的平臺(tái)之一。
去年4.6萬個(gè)項(xiàng)目依賴于這一平臺(tái),貢獻(xiàn)人數(shù)從2238位直接貢獻(xiàn)者增長(zhǎng)到25166位社區(qū)貢獻(xiàn)者。開發(fā)人數(shù)、貢獻(xiàn)人數(shù)、受歡迎程度(star數(shù))、谷歌搜索量都碾壓其他一眾開源AI框架。
去年,國(guó)外數(shù)據(jù)科學(xué)研究者Jeff Hale調(diào)查了多個(gè)主流求職平臺(tái)的AI相關(guān)在線職位搜索列表,其中TensorFlow的搜索量一騎絕塵。綜合職位搜索、KDnuggets使用調(diào)查、Github活躍度、谷歌搜索量、ArXiv文章、亞馬遜書籍、Medium文章等指標(biāo)的評(píng)判,TensorFlow仍然遙遙領(lǐng)先。
眼見AI接棒移動(dòng)互聯(lián)網(wǎng)高調(diào)歸來,顯然,其他科技巨頭們不打算坐看谷歌獨(dú)享AI開源的紅利。
幾乎在TensorFlow開源的同一時(shí)期,微軟亞洲研究院開源機(jī)器學(xué)習(xí)工具包DMTK,通過Apache軟件基金會(huì)免費(fèi)向外界程序員提供System ML AI工具的源代碼。
有些AI開源項(xiàng)目比TensorFlow更早出現(xiàn)。
比如,2015年1月,F(xiàn)acebook人工智能研究院(FAIR)就推出一組基于Torch機(jī)器學(xué)習(xí)框架的開源深度學(xué)習(xí)工具。同年4月,亞馬遜推出機(jī)器學(xué)習(xí)托管服務(wù)Amazon Machine Learning,允許任何開發(fā)者輕松使用歷史數(shù)據(jù)開發(fā)并部署預(yù)測(cè)模型。
不過這些項(xiàng)目尚不足為懼,在TensorFlow開源一年又兩個(gè)月后,它最大的宿敵終于現(xiàn)身。
2017年1月,F(xiàn)acebook推出機(jī)器學(xué)習(xí)框架PyTorch。近兩年來,PyTorch持續(xù)大舉收割A(yù)I學(xué)術(shù)開發(fā)者,并且今年在視覺、語(yǔ)言、通用機(jī)器學(xué)習(xí)等多個(gè)頂會(huì)的論文流行度碾壓TensorFlow,成為AI學(xué)術(shù)界新的王者。
許多研究人員表示,相比TensorFlow,PyTorch的集成方式、API都設(shè)計(jì)的更好,而且業(yè)界有傳聞?wù)fPyTorch的速度要比TensorFlow更快。甚至相傳谷歌內(nèi)部許多人員也希望使用TensorFlow意外的框架,這意味著谷歌早早鋪路的AI生態(tài)建設(shè)并不如安卓那般一帆風(fēng)順,相反危機(jī)四伏。
TF與PY之爭(zhēng)也成為AI領(lǐng)域熱議的話題。有趣的是,去年谷歌Facebook接連發(fā)布TensorFlow和PyTorch新版本。
前者有谷歌深度學(xué)習(xí)科學(xué)家、Keras作者Franois稱贊為來自未來的機(jī)器學(xué)習(xí)平臺(tái),蘋果公司AI研究員Goku Mohandas說他們正從PyTorch轉(zhuǎn)向TensorFlow 2.0+Keras。后者則獲得圖靈獎(jiǎng)得主、深度學(xué)習(xí)鼻祖之一Yann LeCun的轉(zhuǎn)發(fā)支持。
曾因開源問題引發(fā)爭(zhēng)議的微軟和亞馬遜,近幾年也走在AI開源的路上。
亞馬遜對(duì)出身學(xué)界的MXNet框架情有獨(dú)鐘。2016年11月宣布將其作為官方深度學(xué)習(xí)平臺(tái),用于亞馬遜AWS,并于今年1月決定開源其機(jī)器學(xué)習(xí)服務(wù)平臺(tái)SageMaker Neo。微軟則在2017年開源了其內(nèi)部深度學(xué)習(xí)框架CNTK的2.0版本,重命名為微軟認(rèn)知工具包(Microsoft Cogntive Toolkit)。
面對(duì)擁有龐大獨(dú)立AI生態(tài)的谷歌,微軟、Facebook、亞馬遜等巨頭選擇聯(lián)合。2017年9月,他們發(fā)起深度學(xué)習(xí)開源聯(lián)盟ONNX,旨在提高各種AI工具間的通用性。阿里、騰訊、百度、華為、小米等國(guó)內(nèi)科技公司以及英特爾、NVIDIA、高通、AMD、Arm、IBM、惠普等芯片及服務(wù)器巨頭紛紛加入其中。
去年智東西采訪微軟項(xiàng)目總經(jīng)理Venky Veeraraghavan時(shí),他曾表示微軟已和谷歌做了充分溝通,但當(dāng)時(shí)谷歌決定暫時(shí)不會(huì)積極參與到ONNX的工作中。
而截至目前,谷歌仍未公開表現(xiàn)出加入這一陣營(yíng)的意向。
大神云集,AI開源中的華人之光
MXNet、TensorFlow、PyTorch等世界一流的開源AI框架背后,都有著不容忽視的中國(guó)身影。
亞馬遜所青睞的MXNet由DMLC(Distributed/Deep Machine Learning Community)打造,其核心成員均為中國(guó)人。
MXNet源起三個(gè)不同的開源項(xiàng)目,一是在美國(guó)的陳天奇、在加拿大的許冰和在香港的王乃巖牽頭的CXXNet,二是上海張錚及其學(xué)生牽頭的Minerva,三是在新加坡的李沐牽頭的purine2。
▲陳天奇
在2014年NIPS上,同為上海交大校友的陳天奇和李沐經(jīng)過交流,發(fā)現(xiàn)大家普遍在做重復(fù)性工作,于是決定合作開發(fā)MXNet。隨后,越來越多的開源貢獻(xiàn)者參與到MXNet的開發(fā)和維護(hù)工作中。在亞馬遜將MXNet定為官方框架前,圖森、地平線、Wolfram等公司都為MXNet貢獻(xiàn)了很多代碼。
清華大學(xué)畢業(yè)生賈揚(yáng)清在加州大學(xué)伯克利分校攻讀計(jì)算機(jī)科學(xué)博士期間,創(chuàng)立了對(duì)移動(dòng)端友好的開源深度學(xué)習(xí)框架Caffe,被微軟、雅虎、NVIDIA、Adobe等公司看好并采用。畢業(yè)后他到谷歌任科學(xué)家,同Jeff Dean等大神參與TensorFlow的開發(fā),然后又在2016年跳槽去了Facebook,并主導(dǎo)了Caffe2移動(dòng)端深度學(xué)習(xí)框架和ONNX項(xiàng)目的開發(fā)。
▲賈揚(yáng)清
因?yàn)閭鹘y(tǒng)PyTorch偏研究,Caffe2偏應(yīng)用實(shí)踐,兩個(gè)框架之間存在很難跨越的鴻溝,一年半前,F(xiàn)acebook決定將這兩套框架合并成PyTorch 1.0,實(shí)現(xiàn)從研究開發(fā)到生產(chǎn)實(shí)踐的無縫對(duì)接。
如今,陳天奇已加入美國(guó)機(jī)器學(xué)習(xí)創(chuàng)企OctoML任CTO,明年秋季將加入卡內(nèi)基·梅隆大學(xué)任助理教授。李沐現(xiàn)任亞馬遜AI主任科學(xué)家。賈揚(yáng)清則于今年3月作別Facebook,加盟阿里巴巴任副總裁、阿里云智能計(jì)算平臺(tái)事業(yè)部總裁,并擔(dān)任阿里巴巴開源技術(shù)委員會(huì)負(fù)責(zé)人。
BAT入場(chǎng),中國(guó)開源AI起步中
國(guó)外開源AI框架的廝殺正緊,國(guó)內(nèi)AI企業(yè)在AI開源項(xiàng)目上的格局則相對(duì)更為分明。
▲BAT在Github上的AI開源項(xiàng)目不完全統(tǒng)計(jì)
目前唯一躋身Github全球最受歡迎AI框架排行榜,能與TensorFlow、PyTorch等相提并論的是百度飛槳。
百度飛槳源自于百度深度學(xué)習(xí)實(shí)驗(yàn)室于2013年創(chuàng)建的內(nèi)部工具“Paddle”,2016年9月正式宣布開源。這使得百度成為繼谷歌、Facebook、IBM后第四家將AI技術(shù)開源的公司,同時(shí)也是打造國(guó)內(nèi)第一個(gè)且唯一中文開源深度學(xué)習(xí)平臺(tái)的公司。
飛槳根據(jù)本土化特點(diǎn)將開源框架與應(yīng)用層面做了更好的結(jié)合,比許多現(xiàn)有深度學(xué)習(xí)框架更快、更好用。賈揚(yáng)清曾評(píng)價(jià)它在簡(jiǎn)潔、靈活、快速等領(lǐng)域功力不俗,且解決了Caffe早期存在的一些遺留問題。
今年8月,百度還對(duì)外發(fā)布了面向終端和邊緣設(shè)備的端側(cè)推理引擎Paddle Lite Beta版,不僅支持飛槳,還支持TensorFlow、PyTorch和ONNX模型格式。
很有意思的是,2016年7月9日,美國(guó)NASA在Github上公開了47年前登陸月球的Apollo 11源代碼。
恰好一年后,百度宣布開源其自動(dòng)駕駛系統(tǒng)Apollo,其自動(dòng)駕駛軟件可供任何人免費(fèi)下載及修改使用。
目前飛槳在Github上的star數(shù)達(dá)1.02萬,fork數(shù)達(dá)2700,有264位貢獻(xiàn)者,提交超過2.5萬commits。而Apollo比飛槳還要受歡迎,star數(shù)達(dá)到1.53萬,fork數(shù)超5200。
騰訊也大約從2016年起不斷將內(nèi)部開源出來的優(yōu)質(zhì)項(xiàng)目發(fā)布在Github上,如今它在Github全球公司貢獻(xiàn)榜上位居前十。
截至今年8月,騰訊已在Github上發(fā)布82個(gè)開源項(xiàng)目,其中包括7個(gè)方向的AI開源項(xiàng)目。
Angel是騰訊第一個(gè)AI開源項(xiàng)目,最新3.0版本升級(jí)為全棧機(jī)器學(xué)習(xí)平臺(tái),擅長(zhǎng)稀疏數(shù)據(jù)高維模型的訓(xùn)練,可支持多類圖計(jì)算算法,覆蓋了機(jī)器學(xué)習(xí)全流程。它可以與TensorFlow、Caffe等業(yè)界主流深度學(xué)習(xí)框架很好地兼容。
Angel早在2016年年初就在騰訊內(nèi)部上線,應(yīng)用在微信支付、QQ、騰訊視頻、騰訊社交廣告、用戶畫像挖掘等業(yè)務(wù)中,2017年6月在Github上低調(diào)開源。
當(dāng)前Angel平臺(tái)包含超過50萬行代碼量,其star數(shù)已經(jīng)超過5400,fork數(shù)達(dá)1400,總計(jì)有40位貢獻(xiàn)者,提交2300多次commits。
除了Angel之外,騰訊還開源了面向手機(jī)端的跨平臺(tái)高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架NCNN、首個(gè)醫(yī)療AI深度學(xué)習(xí)預(yù)訓(xùn)練模型MedicalNet、AI圍棋程序Phoenix Go、包含800多萬中文詞匯的高質(zhì)量中文詞向量NLP數(shù)據(jù)集、業(yè)內(nèi)最大規(guī)模的多標(biāo)簽圖像數(shù)據(jù)集ML-Images、全球首款自動(dòng)化深度學(xué)習(xí)模型壓縮框架PocketFlow。
阿里巴巴在Github上主體賬號(hào)的總項(xiàng)目數(shù)是國(guó)內(nèi)最多的,據(jù)賈揚(yáng)清介紹,在AI和大數(shù)據(jù)領(lǐng)域,阿里已經(jīng)貢獻(xiàn)超過100萬行的代碼,深度參與超過10個(gè)開源項(xiàng)目。
賈揚(yáng)清在今年9月的阿里云棲大會(huì)上說,阿里的AI與開源、開放的生態(tài)是分不開的,會(huì)通過開源與云平臺(tái)的合作,推進(jìn)開發(fā)者生態(tài)建設(shè),在擁抱開源的同時(shí)貢獻(xiàn)開源。
單從近一年來看,阿里在AI領(lǐng)域先后開源面向高維稀疏數(shù)據(jù)場(chǎng)景的深度學(xué)習(xí)框架XDL、輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)推理引擎MNN、基于PAISoar的分布式神經(jīng)網(wǎng)絡(luò)倉(cāng)庫(kù)PAI-FastNN。
而隨著阿里云與Facebook宣布在AI開源項(xiàng)目上展開合作,雙方計(jì)劃開源、共享、合作開發(fā)框架、AI模型、文件等,將成果以 PyTorch 的形式共享到 GitHub,阿里云機(jī)器學(xué)習(xí)平臺(tái)將能支持PyTorch框架。這會(huì)進(jìn)一步降低AI開發(fā)和應(yīng)用門檻,同時(shí)推動(dòng)PyTorch框架在產(chǎn)業(yè)界的普及。
另外,阿里也通過攜手Facebook,擬將PyTorch項(xiàng)目文獻(xiàn)、教程等資料更快、更準(zhǔn)地翻譯成中文版本,讓國(guó)內(nèi)開發(fā)者能第一時(shí)間學(xué)到最新PyTorch。
商湯和港中大看起來也是PyTorch擁護(hù)者,開源的最大目標(biāo)跟蹤庫(kù)PySOT、物體檢測(cè)工具包MMDetection、時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(ST-GCN)骨架動(dòng)作識(shí)別MMSkeleton均基于PyTorch。
就現(xiàn)在來看,國(guó)內(nèi)自主研發(fā)開源深度學(xué)習(xí)框架的企業(yè)還屬于“稀缺物種”。
目前有苗頭成為新成員的是華為和曠視,華為預(yù)告將在明年第一季度開源其全場(chǎng)景AI計(jì)算框架MindSpore,曠視的深度學(xué)習(xí)框架Brain++也已經(jīng)在計(jì)劃開源,此前曠視研究院的原創(chuàng)ShuffleNet Series算法已經(jīng)開源在Github上。
產(chǎn)學(xué)研合力加速中國(guó)AI開源進(jìn)程
除了開源AI項(xiàng)目之外,國(guó)內(nèi)外公司也在積極參與AI開源社區(qū)建設(shè)。
比如,百度、騰訊、華為、中興、AT&T等國(guó)內(nèi)外知名企業(yè)均加入了LF深度學(xué)習(xí)基金會(huì),共同打造中立開源社區(qū)。
目前廣泛存在的專利許可費(fèi)高昂、專業(yè)人才有限等問題,均可在AI開源社區(qū)的幫助下有效改善。另外,開源還會(huì)幫助數(shù)據(jù)科學(xué)家、工程更高效地做大規(guī)模系統(tǒng)性測(cè)試、性能調(diào)優(yōu)、實(shí)際落地等工作,帶給他們更好的用戶體驗(yàn)。
在扶持開發(fā)者和創(chuàng)企的同時(shí),開源社區(qū)也從其模式中構(gòu)建了龐大的反饋循環(huán)。開發(fā)者及團(tuán)隊(duì)帶給社區(qū)建設(shè)者的反饋,是解決問題中的想法、改進(jìn)平臺(tái)的建議、更多的數(shù)據(jù)、更成熟或更創(chuàng)新的模型和算法、甚至更多的用戶,這些反饋會(huì)反過來推動(dòng)開源社區(qū)主導(dǎo)者對(duì)技術(shù)的理解和業(yè)務(wù)的優(yōu)化,為后續(xù)的數(shù)據(jù)采集及技術(shù)分析鋪路。
根據(jù)最新發(fā)布的Github年度報(bào)告,我國(guó)在開放源代碼的使用量上遙遙領(lǐng)先,開發(fā)者fork和clone的項(xiàng)目比去年多了48%。
過去一年,亞洲開發(fā)者社區(qū)在2019年增長(zhǎng)迅速,約36%的私人存儲(chǔ)庫(kù)創(chuàng)建自中國(guó)、印度、日本等亞洲開發(fā)者。
▲自2014年以來,Github上亞洲的貢獻(xiàn)者群體的年增長(zhǎng)率已超過歐洲和北美的貢獻(xiàn)者群體
考慮到國(guó)內(nèi)AI開源發(fā)展現(xiàn)狀距離國(guó)際最領(lǐng)先水平還有距離,政產(chǎn)學(xué)研的力量正更為緊密的集結(jié)在一起。
今年3月,新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟(AITISA)組織下,新一代人工智能開源開放平臺(tái)OpenI啟智發(fā)布,目前啟智平臺(tái)開源的項(xiàng)目有七個(gè),包括集成百度飛槳核心功能的啟智VisualDL、開源AI處理器項(xiàng)目OpenI海藻等。
鵬城實(shí)驗(yàn)室、北京智源人工智能研究院、清華大學(xué)、北京大學(xué)、國(guó)防科技大學(xué)、北京航空航天大學(xué)、浙江大學(xué)、華為、百度、阿里、騰訊、網(wǎng)易、小米、平安、京東、字節(jié)跳動(dòng)、科大訊飛、曠視、商湯、滴滴、中科類腦等單位均參與這一開源開放平臺(tái)。
此外,今年4月,國(guó)家人工智能標(biāo)準(zhǔn)化總體組發(fā)布《人工智能開源與標(biāo)準(zhǔn)化研究報(bào)告》,華為、騰訊、京東、浪潮、英特爾、IBM、商湯、云從、云天勵(lì)飛、華夏芯等公司均參與了編寫工作,對(duì)AI開源現(xiàn)狀及相關(guān)生態(tài)進(jìn)行了描述和分析。
隨著AI開源項(xiàng)目的蓬勃發(fā)展,這種共享文化正激勵(lì)著更多不同行業(yè)的公司嘗試AI,創(chuàng)建符合其自身業(yè)務(wù)需求的平臺(tái)。
借助開源,他們無需在尚未構(gòu)建且無法自定義的AI軟件上花費(fèi)數(shù)百萬美元。他們本身?yè)碛泻A康男袠I(yè)數(shù)據(jù),只需招攬少量的AI開發(fā)者,即可在開源AI平臺(tái)及模型的幫助下更高效、低成本的完成智能化任務(wù)。
根據(jù)Scopus的數(shù)據(jù),從2007至2017年,中國(guó)發(fā)表的AI相關(guān)論文數(shù)量從5995增至15199篇。
許多企業(yè)在構(gòu)建AI解決方案時(shí),都會(huì)大量用到開源的算法。在開源的推動(dòng)下,AI創(chuàng)業(yè)公司如雨后春筍般涌現(xiàn)。報(bào)告顯示,中國(guó)AI企業(yè)數(shù)量達(dá)到745家,僅次于排名第一的美國(guó)。其中,2018年發(fā)生融資事件的企業(yè)有577家,融資總額達(dá)3832.22億元,排名全球第一。
中國(guó)AI開源面臨的困境
盡管我國(guó)的AI事業(yè)看起來蒸蒸日上,但短板一直還存在。在基礎(chǔ)層建設(shè)、創(chuàng)企困局、安全漏洞、道德難題等方面,AI開源還有很多值得探討的空間。
而政產(chǎn)學(xué)研的力量正集結(jié)在一起,試圖建立一個(gè)更加穩(wěn)健強(qiáng)大的中國(guó)AI生態(tài)系統(tǒng)。
▲人工智能產(chǎn)業(yè)生態(tài)圈全景圖
應(yīng)用層強(qiáng),基礎(chǔ)層弱
根據(jù)科技部發(fā)布的《中國(guó)新一代人工智能發(fā)展報(bào)告2019》,中國(guó)是AI專利布局最多的國(guó)家,在技術(shù)層呈現(xiàn)中美雙寡頭競(jìng)爭(zhēng)格局,在應(yīng)用層中國(guó)專利領(lǐng)先。
但在AI基礎(chǔ)技術(shù)及工具的研發(fā)方面,我國(guó)仍然相對(duì)落后,AI基礎(chǔ)技術(shù)的核心力量都掌握在美國(guó)的手中。
AI開源項(xiàng)目一方面能推動(dòng)AI技術(shù)更快落地到具體業(yè)務(wù)和應(yīng)用中,但也可能致使更少的開發(fā)者愿意去從事難度大、成效未知的基礎(chǔ)性研發(fā)工作。而隨著我國(guó)高校AI教育體系的逐步完善,對(duì)研究項(xiàng)目方向的設(shè)置、對(duì)學(xué)生的引導(dǎo)將起到關(guān)鍵作用。
開源基礎(chǔ)設(shè)施環(huán)節(jié)薄弱
就目前來看,我國(guó)唯一在國(guó)際上拿得出手的AI框架只有百度飛槳。而飛槳的受歡迎程度尚不足以排進(jìn)全球AI框架前十名。
即便是在國(guó)內(nèi)的企業(yè)和高校中,TensorFlow、PyTorch等美國(guó)公司研發(fā)的開源框架更受開發(fā)者的青睞。而更令人擔(dān)憂的是,開發(fā)者最熱衷于上傳代碼的Github平臺(tái)同樣在美國(guó)公司手中。
誠(chéng)然,絕大多數(shù)程序員都崇尚公平、開放的開源共享文化,但此前已經(jīng)有各種例證顯示了政治和狹隘觀念可能造成的負(fù)面影響。
比如上周全球第二大開源代碼托管平臺(tái)GitLab公然發(fā)文,稱考慮“當(dāng)前地緣環(huán)境”,拒收中、俄公民,并且禁止現(xiàn)員工前往這兩個(gè)國(guó)家。
如果美國(guó)執(zhí)意要豎起“數(shù)字鐵幕”,那么我國(guó)建立完全獨(dú)立自主的開源基礎(chǔ)設(shè)施已成當(dāng)務(wù)之急。
小公司做AI開源不占優(yōu)勢(shì)
無論國(guó)內(nèi)還是國(guó)外,AI開源更像是巨頭的專場(chǎng)。亞馬遜、谷歌、BAT等公司,除了本身技術(shù)實(shí)力過硬外,可直接豪擲千金買技術(shù)、團(tuán)隊(duì)、人才,建設(shè)一套更為完整的開源體系。
但對(duì)于剛剛起步的小公司而言,資金、技術(shù)、人才等壓力往往使得他們?cè)谕ㄍ_源的路上更為束手束腳。比如美國(guó)公司Mycroft開源的語(yǔ)音平臺(tái)需要支持幾十種語(yǔ)言,它不得不與Mozilla以及更大的開源社區(qū)合作進(jìn)行一些國(guó)際化工作,但這些需要耗費(fèi)很多時(shí)間。
少數(shù)技術(shù)實(shí)力雄厚的初創(chuàng)企業(yè)搭建了自己的深度學(xué)習(xí)框架。但現(xiàn)實(shí)中,人們更容易傾向于信賴已經(jīng)得到大眾認(rèn)可的事物,即便創(chuàng)企能提供更高性價(jià)比的產(chǎn)品及服務(wù),一些客戶出于安全等考量仍會(huì)更信任搶先培養(yǎng)了用戶習(xí)慣的軟件產(chǎn)品。
即便是國(guó)內(nèi)大公司都要思考如何吸引更多開發(fā)者選擇自己的AI框架,小公司面臨的阻礙往往更多。
安全漏洞防范與標(biāo)準(zhǔn)規(guī)范
和信息技術(shù)相關(guān)的所有軟硬件一樣,開源AI框架也存在技術(shù)漏洞、人為缺陷等造成的安全風(fēng)險(xiǎn)。
開源社區(qū)通過不斷監(jiān)控軟件代碼中的缺陷和漏洞,提供額外的安全性,這對(duì)像AI這樣的新興技術(shù)尤為有益,但仍不可避免會(huì)存在一些潛在的威脅。
去年,谷歌TensorFlow曾爆出重大安全漏洞,雖未造成實(shí)質(zhì)影響,卻引發(fā)業(yè)界擔(dān)憂。當(dāng)時(shí)有專家評(píng)估,類似的漏洞可能摧毀所有基于該平臺(tái)開發(fā)出的AI模型,而這些模型可能大量涉及安防、識(shí)別、城市交通、公共服務(wù)等事關(guān)社會(huì)民生的關(guān)鍵應(yīng)用。
這也給我們敲響警鐘,在建設(shè)開源AI框架過程中,必須嚴(yán)格防范可能的安全漏洞問題,同時(shí)逐步構(gòu)建完善的安全要求與測(cè)評(píng)評(píng)估標(biāo)準(zhǔn)工作。
數(shù)據(jù)隱私保護(hù)與技術(shù)濫用
AI開源項(xiàng)目被用地不得當(dāng),可能引發(fā)道德上的災(zāi)難。關(guān)于數(shù)據(jù)隱私保護(hù)引發(fā)的爭(zhēng)議已經(jīng)屢見不鮮,除此之外,近期技術(shù)濫用問題一度引起軒然大波。
就拿今年AI換臉開源項(xiàng)目DeepFake來說,已經(jīng)有一些人利用這一技術(shù)去從事一些灰產(chǎn),甚至對(duì)許多無辜群體造成人身攻擊和心理傷害。智東西曾對(duì)國(guó)內(nèi)AI換臉產(chǎn)業(yè)做深入調(diào)查(AI換臉黑產(chǎn):100元打包200部換臉情色片,5張照片就可定制視頻)。
▲被調(diào)查的10個(gè)賣家資料整理
今年AI技術(shù)與道德審查的法規(guī)制定也成為全球多個(gè)AI會(huì)議探討的核心話題之一。
另外由于AI開源項(xiàng)目降低了AI落地的門檻,一定程度上也導(dǎo)致市場(chǎng)上現(xiàn)有的AI產(chǎn)品良莠不齊。比如一些做智能門禁的企業(yè)直接借用開源平臺(tái)中的模型,沒有結(jié)合實(shí)際數(shù)據(jù)做進(jìn)一步的優(yōu)化,投入實(shí)際應(yīng)用后,對(duì)人們的生命財(cái)產(chǎn)安全也會(huì)造成一定風(fēng)險(xiǎn)。
國(guó)內(nèi)AI開源建設(shè)需要更多開發(fā)者支持
上層軟件走向開源開放是大勢(shì)所趨,封閉知識(shí)產(chǎn)權(quán)會(huì)逐漸融入到開源基礎(chǔ)架構(gòu)之中。
AI于開源而言,或許與其他軟件別無二致。而開源于AI而言,卻是促進(jìn)AI應(yīng)用創(chuàng)新與更多行業(yè)智能化普及的重要驅(qū)動(dòng)力。從當(dāng)下AI在各國(guó)的戰(zhàn)略地位來看,開源AI框架有望成為像云API那樣成為主宰AI市場(chǎng)的核心引擎。
近年隨著AI算法的持續(xù)豐富,開源與科研、工程的結(jié)合也越來越緊密。開發(fā)者所關(guān)注的開源AI核心要素,也從更高的性能轉(zhuǎn)為如何能讓算法在應(yīng)用中更快更好的落地。而更快速、更好用的AI框架,以及與各種硬件更加優(yōu)化的協(xié)同,都有望為AI發(fā)展注入新的活力。
當(dāng)前我國(guó)在AI應(yīng)用層基本站穩(wěn)腳跟,在數(shù)據(jù)資源、數(shù)理人才、市場(chǎng)環(huán)境等方面均有很大優(yōu)勢(shì),再加上戰(zhàn)略引領(lǐng)、政策支持助力,AI開源開放平臺(tái)、完整AI生態(tài)鏈的相關(guān)建設(shè)正在持續(xù)推動(dòng)中。這或許會(huì)是一個(gè)長(zhǎng)期的工作,不僅需要產(chǎn)學(xué)研各類機(jī)構(gòu)的協(xié)同努力,也需要更多開發(fā)者的鼓勵(lì)與支持。