賽靈思在去年底推出了新的開發(fā)者計劃(Xilinx Developer Program),提供了一個全新的開發(fā)者網站,開發(fā)者可以在這里找到包括Vivado、Vitis、Vitis AI等開發(fā)資源。還提供給開發(fā)者40多個免費訓練模塊,根據(jù)賽靈思平臺創(chuàng)建了很多點播培訓課程。此外,該公司還將推出開發(fā)者認證計劃,針對不同的開發(fā)者有不同的培訓課程,這個計劃對于所有開發(fā)者都是免費的。
今年初,賽靈思的應用商店 (Xilinx App Store)上線了,目前有200多個面向Alveo加速卡和云相關的應用。6月,賽靈思還推出了Kria SoM 自適應系統(tǒng)模塊產品組合,在應用商店里已經擁有7個面向Kria SoM的應用。
在工具采用方面,Vitis下載量已經超過15萬次,Vitis AI下載量超過10萬次。開發(fā)者計劃推出8個月以來,目前有超過10000的注冊人數(shù)。
新工具也在不斷問世,今年6月底推出了基于機器學習的 VivadoML版本,在 Vivado 環(huán)境里使用了很多機器學習技術來進一步提升布線時延的優(yōu)化,并進行一些模塊化設計,從而將結果質量 (QoR)平均提升10% (在不同的測試的用例中甚至會提高50%)。此外,還推出了一個基于可重配置模塊的層級化編譯,用戶可以定義自己的模塊,可以進行增量編譯和并行編譯,編譯時間會大大縮短。
用于視頻分析的AI推理市場前景廣闊
賽靈思于9月初推出了一個新的工具叫 Vitis Video Analytics SDK,,主要用于構建和部署基于AI的智能視頻分析。目前,AI推理市場有很大發(fā)展空間,從2020到2027年,該市場以年均35%的復合增長率增長。AI推理可分為兩大類應用:一是與視頻圖像相關的,另外一類是語音,包括自然文本的處理,推薦類的應用。據(jù)公開的市場分析報告和賽靈思預測,大概有55% 的AI推理是基于圖像視頻應用,所以,視頻分析是這里面增長速度最快的細分市場。很多客戶有這方面的需求。
視頻分析的具體應用案例很多:如智能泊車,對停車廠的智能管理、空位分析、數(shù)據(jù)提取等;在智慧城市里面,對行人和車輛的流量分析,交通路口的壅塞分析,可以關聯(lián)到智能交通燈系統(tǒng);還有一些重要的基礎設施建設,如電力自動巡檢。
羅霖表示:“我們看到一個趨勢:過去,在這些領域里有不少用戶采用傳統(tǒng)的計算機視覺,目前,AI分析正在迅速取代這些傳統(tǒng)的計算機視覺,因為它可以提取更多特征,而且在很多場合下,它的精度更高。”
Vitis Video SDK就是為了滿足這方面的市場需求。如下圖所示,底層是基于賽靈思的嵌入式平臺,如Alveo,上面是基于賽靈思的Vitis、Vitis AI,中間提供了基于主流的Gstreamer這樣一個開放的多媒體協(xié)議,它提供了各種各樣的插件,如視頻編解碼插件,圖像預處理插件,還有DPU插件,這是專門用來運行這些AI模型的。Vitis Video SDK提供了C++和python編程接口,無需用RTL進行編程,可以實現(xiàn)很高的開發(fā)效率,開發(fā)者可以基于它來構建很多應用,如智慧城市、智慧零售、智慧醫(yī)療、智慧建筑等。
據(jù)羅霖介紹,在性能方面,賽靈思做了一些評測,包括兩部分:一是針對嵌入式平臺,比如賽靈思最新的Kria SoM,根據(jù)視頻解碼預處理加上車牌識別這樣一個案例場景,在一個Kria SoM里面可以運行三路,而英偉達的Jetson Nano和TX2只能運行1-2路,所以,賽靈思可以提供比他們高1.5到3倍的性能;二是基于Alveo加速卡,如Versal VCK5000,運行視頻解碼預處理加上目標檢測和目標分類這樣一個案例場景,一個VCK5000可以做到32路,而一個主流的T4大概是16路,所以,賽靈思可以提供2倍的吞吐率。