自DeepSeek面世以來，AI大模型開始以極快的迭代速度進(jìn)行更新，其應(yīng)用向千行百業(yè)加速席卷。DeepSeek橫空出世展現(xiàn)出的“開源開放、高效推理、端側(cè)友好”核心優(yōu)勢，更是點(diǎn)亮了端側(cè)AI的落地前景。
在生成式AI的云端智能到端側(cè)AI本地智能落地的漫長技術(shù)周期里，DeepSeek的出現(xiàn)讓端側(cè)智能不再受限于硬件算力與能效，大模型通過蒸餾技術(shù)重構(gòu)的小模型在端側(cè)部署的可行性大增。
在端側(cè)AI上下游，廠商們不斷探索著硬件平臺、端側(cè)算法、模型優(yōu)化與場景落地的協(xié)同，探索著如何將智能帶到終端設(shè)備。當(dāng)然，在以DeepSeek為代表的大模型的加持下，賦予終端設(shè)備本地智能仍然不是一件一蹴而就的事情。如何在更小的模型參數(shù)量里實(shí)現(xiàn)更智能的推理，如何平衡終端設(shè)備能效比等等問題，仍舊需要軟硬件協(xié)同的不斷打磨來解決。
端側(cè)AI時代，模型應(yīng)用加速滲透
對于端側(cè)AI的發(fā)展，物聯(lián)網(wǎng)智庫此前給出的判斷是產(chǎn)業(yè)已處在爆發(fā)前夕。移遠(yuǎn)通信也對端側(cè)AI的大規(guī)模推進(jìn)持積極態(tài)度。在不久前移遠(yuǎn)通信端側(cè)AI專場直播上，其產(chǎn)品經(jīng)理表示，得益于小模型性能的增強(qiáng)以及算力平臺的完善，端側(cè)AI正在加速落地。
從模型發(fā)展來看，去年，AI手機(jī)、AI PC上已經(jīng)開始應(yīng)用7B左右的端側(cè)小模型做落地嘗試，不過彼時模型能力有限，現(xiàn)在3-4B規(guī)模的端側(cè)小模型推理能力已經(jīng)可以媲美去年7B左右模型。在DeepSeek興起后，基于MoE架構(gòu)和優(yōu)質(zhì)模型蒸餾重構(gòu)出的細(xì)分小模型，解決了小模型在Self-play學(xué)習(xí)中的不足，推理能力更強(qiáng)，也更便于在端側(cè)部署。
借用移遠(yuǎn)通信直播中的表述，“DeepSeek的突破是一次面向產(chǎn)業(yè)痛點(diǎn)的工程范式升級，為AI推理開辟了‘少即是多’的新路徑”。對于端側(cè)AI來說，這意味著AI能夠在計算資源有限的終端設(shè)備上運(yùn)行，從大模型到端側(cè)設(shè)備，AI開始具備無縫擴(kuò)展的能力。利用MoE架構(gòu)推動模型向端側(cè)發(fā)展，將會是未來明確的趨勢。
移遠(yuǎn)通信基于其高算力AI智能模組SG885G，實(shí)現(xiàn)了DeepSeek模型的穩(wěn)定運(yùn)行，并完成了針對性微調(diào)，同時將其融合到移遠(yuǎn)大模型解決方案中，為客戶提供更精準(zhǔn)、更高效的端側(cè)AI服務(wù)。這些舉措不僅體現(xiàn)了移遠(yuǎn)通信在端側(cè)AI領(lǐng)域的深度布局，更體現(xiàn)了其領(lǐng)先的工程化能力。
不僅是DeepSeek，移遠(yuǎn)通信在大模型技術(shù)上還在不斷開拓，其端側(cè)大模型解決方案融合前沿的LLM（大語言模型）、RAG（檢索增強(qiáng)生成）與Agent（智能體）等業(yè)界主流技術(shù)。通過針對特定應(yīng)用場景對模型進(jìn)行微調(diào)，并合理調(diào)度多個模型資源，移遠(yuǎn)端側(cè)大模型解決方案已滿足商用條件，助力終端廠商快速應(yīng)用前沿AI技術(shù)，為硬件終端賦予本地智能。
AI算力模組解決多層次硬件需求，推動端側(cè)AI落地
AI如何在端側(cè)落地生根，讓終端設(shè)備真正“智能”起來。隨著模型的不斷優(yōu)化改進(jìn)，其在泛化性上已經(jīng)有了較大提升，能夠在保證端側(cè)模型輕量化的同時，適應(yīng)端側(cè)場景的復(fù)雜多變。而在端側(cè)場景硬件算力不一和能效問題上，則需要適配的AI算力模組來解決。
對終端廠商來說，探索如何將模型技術(shù)應(yīng)用到自身產(chǎn)品中并不容易，終端硬件廠商在AI能力上參差不齊，為了縮短AI融合應(yīng)用的上市時間，需要物聯(lián)網(wǎng)整體解決方案供應(yīng)商為他們提供高效便捷的全棧AI能力，并針對具體需求做相應(yīng)定制化的開發(fā)。
目前，移遠(yuǎn)通信主推的搭載高通QCS8550平臺的高性能AI算力模組SG885G，成功實(shí)現(xiàn)了DeepSeek-R1蒸餾小模型的穩(wěn)定運(yùn)行，生成Tokens的速度超過每秒40個，且隨著性能的不斷優(yōu)化，速度還在進(jìn)一步提升。這款A(yù)I算力模組主打高算力、高性能，同時支持Linux、Android、Ubuntu等各種操作系統(tǒng)，在高端機(jī)器人等端側(cè)算力需求較大的場景中，能夠輕松滿足相關(guān)算力需求。
對于在計算能效上要求嚴(yán)苛的應(yīng)用，移遠(yuǎn)通信也能提供12 TOPS算力的SG560D，滿足需要兼顧算力、成本和功耗的端側(cè)應(yīng)用。同時，搭載紫光展銳UIS7885平臺的SG530C也兼顧算力、成本和功耗。
從基礎(chǔ)的人臉識別、到工業(yè)視覺質(zhì)量檢測、到機(jī)器人等各種碎片化的應(yīng)用場景，移遠(yuǎn)通信都能提供相應(yīng)算力硬件，為端側(cè)AI落地提供支持。據(jù)悉，移遠(yuǎn)通信正在規(guī)劃更高算力模組，滿足未來端側(cè)對算力更大的需求，解決不同終端的多層次的算力需求。
除了AI算力模組，近期移遠(yuǎn)通信也發(fā)布了面向全球市場的QuecPi Alpha開源智能生態(tài)開發(fā)板，AI算力高達(dá)12 TOPS，充分滿足工業(yè)和消費(fèi)類應(yīng)用場景下對高速率、多媒體功能及AI算力的需求，加速工業(yè)類及消費(fèi)類智能設(shè)備端側(cè)智能技術(shù)的突破，推動相關(guān)應(yīng)用快速落地。
目前，AI算力模組已經(jīng)能夠承擔(dān)更多計算量，減輕云端服務(wù)器的計算負(fù)擔(dān)。隨著算力模組的進(jìn)一步擴(kuò)充完善，更多的計算任務(wù)將直接在本地完成，這也意味著更多硬件終端能夠搭載更智能的“大腦”。從智能汽車、機(jī)器人到PC、家居、玩具及可穿戴設(shè)備等多元化設(shè)備，AI算力模組針對不同終端應(yīng)用的持續(xù)優(yōu)化，將大幅縮短端側(cè)智能相關(guān)產(chǎn)品的落地周期，越來越多的終端設(shè)備將享受到AI技術(shù)帶來的變革。
大模型解決方案落地，引領(lǐng)機(jī)器人創(chuàng)新變革
在眾多端側(cè)智能應(yīng)用中，機(jī)器人無疑是最具想象力的智能產(chǎn)品，可以說是最能代表前沿科技成果的智能集合體。加之DeepSeek在高質(zhì)量小模型和多模態(tài)推理模型方面上的創(chuàng)新，機(jī)器人在商用落地方面已經(jīng)準(zhǔn)備得十分充分。
對于機(jī)器人的應(yīng)用方向，從落地的角度看，商業(yè)服務(wù)類機(jī)器人是通用智能機(jī)器人有望最先落地的場景。在大模型技術(shù)的賦能下，機(jī)器人在情景理解、知識融合、智能交互上實(shí)現(xiàn)了顯著增強(qiáng)，這是以往弱交互、弱推理的機(jī)器人所欠缺的。模型技術(shù)的應(yīng)用，使機(jī)器人能夠快速集成先進(jìn)的自然語言處理能力，并對信息初步處理與分析，從而在人機(jī)交互方面實(shí)現(xiàn)大幅優(yōu)化。
移遠(yuǎn)通信的大模型解決方案在機(jī)器人上的應(yīng)用就是很好的例子。在移遠(yuǎn)端側(cè)大模型解決方案的助力下，服務(wù)機(jī)器人可實(shí)現(xiàn)1s以內(nèi)的意圖識別，解碼速率超過15 tokens/s。從KWS語音喚醒到VAD人聲檢測，再到ASR語音識別，最后通過TTS語音播報，移遠(yuǎn)大模型解決方案在全語音鏈路上實(shí)現(xiàn)了無縫銜接與高效運(yùn)行。
在移遠(yuǎn)端側(cè)大模型解決方案的幫助下，服務(wù)機(jī)器人得以準(zhǔn)確理解用戶意圖，并以清晰自然的語音進(jìn)行反饋，在交互體驗(yàn)和智能服務(wù)上遠(yuǎn)勝于傳統(tǒng)的服務(wù)機(jī)器人。該方案展現(xiàn)出了顯著的落地價值，在眾多實(shí)際場景中得到了廣泛應(yīng)用。
在端側(cè)AI專場直播中，移遠(yuǎn)通信產(chǎn)品經(jīng)理強(qiáng)調(diào)，在機(jī)器人方案規(guī)劃上，后續(xù)會基于控制器，為機(jī)器人集成更多外圍感知器件，用多維的感知來不斷賦予機(jī)器人更類人的交互能力。交互的前提是充分的感知，移遠(yuǎn)通信將借助實(shí)時、精準(zhǔn)、多維的感知技術(shù)，為機(jī)器人拓展更多如交互、決策等AI相關(guān)功能，充分發(fā)揮出端側(cè)AI在數(shù)據(jù)處理、分類、融合的價值，并通過完備的感知能力與擬人化的交互方式，進(jìn)一步增強(qiáng)機(jī)器人的智能化程度。
移遠(yuǎn)通信在MWC 2025上推出的全新AI智能無人零售解決方案，正是憑借動態(tài)視覺感知與端側(cè)識別模型，讓自動售貨機(jī)實(shí)現(xiàn)了跨越發(fā)展，這與通過多維感知不斷賦予機(jī)器人更類人的交互能力有著異曲同工之妙。
端側(cè)AI大模型技術(shù)與機(jī)器人的緊密結(jié)合，使得機(jī)器人在識別任務(wù)后，能夠自動拆解出涉及的機(jī)器人技能與子技能，并根據(jù)給定的最終目標(biāo)任務(wù)，自主地進(jìn)行從Language到Action的模型構(gòu)建。在端側(cè)AI的助力下，自主編排和執(zhí)行復(fù)雜任務(wù)，將成為未來具身智能機(jī)器人的發(fā)展方向。
寫在最后
隨著端側(cè)模型與端側(cè)算力平臺持續(xù)協(xié)同優(yōu)化，二者將不再是制約智能終端硬件發(fā)展的枷鎖。更小、更精、更聚焦垂直領(lǐng)域的端側(cè)小模型，開始向各類終端滲透。從高算力到兼顧能效的算力模組，移遠(yuǎn)通信針對不同場景對成本、功耗和算力的差異化需求，提供了多樣化的選擇。接下來，針對不同端側(cè)應(yīng)用開發(fā)的端側(cè)AI解決方案將不斷涌現(xiàn)，這將大幅縮短智能終端的落地周期，促進(jìn)千行百業(yè)的智能化變革。
