賽靈思在去年底推出了新的開(kāi)發(fā)者計(jì)劃(Xilinx Developer Program),提供了一個(gè)全新的開(kāi)發(fā)者網(wǎng)站,開(kāi)發(fā)者可以在這里找到包括Vivado、Vitis、Vitis AI等開(kāi)發(fā)資源。還提供給開(kāi)發(fā)者40多個(gè)免費(fèi)訓(xùn)練模塊,根據(jù)賽靈思平臺(tái)創(chuàng)建了很多點(diǎn)播培訓(xùn)課程。此外,該公司還將推出開(kāi)發(fā)者認(rèn)證計(jì)劃,針對(duì)不同的開(kāi)發(fā)者有不同的培訓(xùn)課程,這個(gè)計(jì)劃對(duì)于所有開(kāi)發(fā)者都是免費(fèi)的。
今年初,賽靈思的應(yīng)用商店 (Xilinx App Store)上線了,目前有200多個(gè)面向Alveo加速卡和云相關(guān)的應(yīng)用。6月,賽靈思還推出了Kria SoM 自適應(yīng)系統(tǒng)模塊產(chǎn)品組合,在應(yīng)用商店里已經(jīng)擁有7個(gè)面向Kria SoM的應(yīng)用。
在工具采用方面,Vitis下載量已經(jīng)超過(guò)15萬(wàn)次,Vitis AI下載量超過(guò)10萬(wàn)次。開(kāi)發(fā)者計(jì)劃推出8個(gè)月以來(lái),目前有超過(guò)10000的注冊(cè)人數(shù)。
新工具也在不斷問(wèn)世,今年6月底推出了基于機(jī)器學(xué)習(xí)的 VivadoML版本,在 Vivado 環(huán)境里使用了很多機(jī)器學(xué)習(xí)技術(shù)來(lái)進(jìn)一步提升布線時(shí)延的優(yōu)化,并進(jìn)行一些模塊化設(shè)計(jì),從而將結(jié)果質(zhì)量 (QoR)平均提升10% (在不同的測(cè)試的用例中甚至?xí)岣?/span>50%)。此外,還推出了一個(gè)基于可重配置模塊的層級(jí)化編譯,用戶可以定義自己的模塊,可以進(jìn)行增量編譯和并行編譯,編譯時(shí)間會(huì)大大縮短。
用于視頻分析的AI推理市場(chǎng)前景廣闊
賽靈思于9月初推出了一個(gè)新的工具叫 Vitis Video Analytics SDK,,主要用于構(gòu)建和部署基于AI的智能視頻分析。目前,AI推理市場(chǎng)有很大發(fā)展空間,從2020到2027年,該市場(chǎng)以年均35%的復(fù)合增長(zhǎng)率增長(zhǎng)。AI推理可分為兩大類應(yīng)用:一是與視頻圖像相關(guān)的,另外一類是語(yǔ)音,包括自然文本的處理,推薦類的應(yīng)用。據(jù)公開(kāi)的市場(chǎng)分析報(bào)告和賽靈思預(yù)測(cè),大概有55% 的AI推理是基于圖像視頻應(yīng)用,所以,視頻分析是這里面增長(zhǎng)速度最快的細(xì)分市場(chǎng)。很多客戶有這方面的需求。
視頻分析的具體應(yīng)用案例很多:如智能泊車,對(duì)停車廠的智能管理、空位分析、數(shù)據(jù)提取等;在智慧城市里面,對(duì)行人和車輛的流量分析,交通路口的壅塞分析,可以關(guān)聯(lián)到智能交通燈系統(tǒng);還有一些重要的基礎(chǔ)設(shè)施建設(shè),如電力自動(dòng)巡檢。
羅霖表示:“我們看到一個(gè)趨勢(shì):過(guò)去,在這些領(lǐng)域里有不少用戶采用傳統(tǒng)的計(jì)算機(jī)視覺(jué),目前,AI分析正在迅速取代這些傳統(tǒng)的計(jì)算機(jī)視覺(jué),因?yàn)樗梢蕴崛「嗵卣鳎以诤芏鄨?chǎng)合下,它的精度更高。”
Vitis Video SDK就是為了滿足這方面的市場(chǎng)需求。如下圖所示,底層是基于賽靈思的嵌入式平臺(tái),如Alveo,上面是基于賽靈思的Vitis、Vitis AI,中間提供了基于主流的Gstreamer這樣一個(gè)開(kāi)放的多媒體協(xié)議,它提供了各種各樣的插件,如視頻編解碼插件,圖像預(yù)處理插件,還有DPU插件,這是專門用來(lái)運(yùn)行這些AI模型的。Vitis Video SDK提供了C++和python編程接口,無(wú)需用RTL進(jìn)行編程,可以實(shí)現(xiàn)很高的開(kāi)發(fā)效率,開(kāi)發(fā)者可以基于它來(lái)構(gòu)建很多應(yīng)用,如智慧城市、智慧零售、智慧醫(yī)療、智慧建筑等。
據(jù)羅霖介紹,在性能方面,賽靈思做了一些評(píng)測(cè),包括兩部分:一是針對(duì)嵌入式平臺(tái),比如賽靈思最新的Kria SoM,根據(jù)視頻解碼預(yù)處理加上車牌識(shí)別這樣一個(gè)案例場(chǎng)景,在一個(gè)Kria SoM里面可以運(yùn)行三路,而英偉達(dá)的Jetson Nano和TX2只能運(yùn)行1-2路,所以,賽靈思可以提供比他們高1.5到3倍的性能;二是基于Alveo加速卡,如Versal VCK5000,運(yùn)行視頻解碼預(yù)處理加上目標(biāo)檢測(cè)和目標(biāo)分類這樣一個(gè)案例場(chǎng)景,一個(gè)VCK5000可以做到32路,而一個(gè)主流的T4大概是16路,所以,賽靈思可以提供2倍的吞吐率。