11月20日，廣和通創(chuàng)新發(fā)布AI Dongle解決方案，為個人PC、NAS等設(shè)備提供移動AI算力支持。該方案內(nèi)置高性能、低功耗NPU，使得終端在邊緣側(cè)即可進(jìn)行LLM大模型實時推理任務(wù)，為問答助手、以文搜圖、會議紀(jì)要總結(jié)等協(xié)同辦公等邊緣應(yīng)用提供AI功能。
即插即用的AI體驗
AI Dongle解決方案專注于解決邊緣設(shè)備在實時推理、數(shù)據(jù)隱私和能效優(yōu)化等多方面挑戰(zhàn)。通過USB接口供電和數(shù)據(jù)傳輸，AI Dongle便攜易用、免驅(qū)免配置，可實現(xiàn)即插即用，將AI推理能力帶到任何具有USB接口的設(shè)備。
數(shù)據(jù)隱私保護(hù)是AI Dongle的另一大優(yōu)勢，通過端側(cè)處理，敏感數(shù)據(jù)可以保存在本地，無需上傳至云端，特別適用于智能會議、個人助理等涉及隱私的場景。
AI Dongle目前搭載高通躍龍? QCS6490處理器，提供12TOPS算力，后續(xù)，根據(jù)差異化應(yīng)用場景，AI Dongle可提供不同的算力配置，滿足從輕量化AI任務(wù)到復(fù)雜大模型推理的多樣化需求。廣和通不僅提供端側(cè)算力，還基于自研Fibocom AI Stack，通過OpenAI API接口接入主流模型，應(yīng)用開發(fā)者只需簡單配置即可調(diào)用端側(cè)模型和算力。
從PC到NAS的全面賦能
通過插入普通電腦的USB接口，AI Dongle能夠為智能會議系統(tǒng)等應(yīng)用提供強(qiáng)大的AI算力支持，即使在斷網(wǎng)環(huán)境下也能實現(xiàn)多語種實時翻譯和會議紀(jì)要生成。
面向AI應(yīng)用開發(fā)者，這一解決方案大大降低了開發(fā)門檻。開發(fā)者無需購買昂貴的專用AI工作站，只需將AI Dongle插入現(xiàn)有電腦，就能獲得強(qiáng)大的AI推理算力，用于模型調(diào)試和應(yīng)用開發(fā)。創(chuàng)意工作者則利用AI Dongle為圖像處理、視頻剪輯等軟件中的AI加速插件提供額外的計算能力，顯著提升工作效率。
當(dāng)AI Dongle與網(wǎng)絡(luò)附屬存儲（NAS）設(shè)備結(jié)合，既能提供集中存儲的空間，又具備了專門的AI計算能力。AI Dongle與NAS結(jié)合特別適合智能家居和安防場景，可以對存儲在本地的監(jiān)控視頻進(jìn)行實時分析，實現(xiàn)人臉識別、行為檢測等功能，同時確保數(shù)據(jù)隱私。對于中小企業(yè)協(xié)同辦公，NAS+AI Dongle的解決方案能夠提供安全且高效的內(nèi)容管理與處理能力，支持文檔分析、智能分類等應(yīng)用。在科研和邊緣計算領(lǐng)域，這一組合提供了數(shù)據(jù)本地處理與分析的理想平臺，既保障了研究數(shù)據(jù)的安全，又降低了云端傳輸?shù)呢?fù)擔(dān)和延遲。
靈活拓展至更多應(yīng)用
目前，廣和通提供了兩個DEMO應(yīng)用，包括知識問答、音視頻轉(zhuǎn)寫總結(jié)，后續(xù)將推出本地知識庫應(yīng)用。AI Dongle解決方案即將適配騰訊Youtu-Agent等開源智能體框架，助力用戶更便捷地利用騰訊優(yōu)圖技術(shù)，在AI Dongle上開發(fā)出強(qiáng)大的視覺處理或智能交互類應(yīng)用。
廣和通AIS事業(yè)部總經(jīng)理劉子威表示：
AI Dongle將加速AI融合各類智能終端，提供便攜易用、高拓展性的AI+解決方案。廣和通將積極與端側(cè)AI產(chǎn)業(yè)鏈合作，探索更多元化的AI算力拓展方案，助力更多產(chǎn)業(yè)智能化升級。
