隨著各類智能終端的普及和網(wǎng)絡帶寬的持續(xù)提升，音視頻技術已成為連接世界的關鍵橋梁。
在消費互聯(lián)網(wǎng)側，據(jù)中國互聯(lián)網(wǎng)絡信息中心發(fā)布的第53次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，截至2023 年底，我國網(wǎng)絡視頻用戶規(guī)模為10.67 億人，占網(wǎng)民整體的97.7%，短視頻用戶規(guī)模為10.53 億人，占網(wǎng)民整體的96.4%，網(wǎng)絡直播用戶規(guī)模達8.16 億人，占網(wǎng)民整體的74.7%。
在物聯(lián)網(wǎng)側，2023年底，蜂窩物聯(lián)網(wǎng)終端用戶數(shù)達到23.32億，其中智慧零售和智慧家居的規(guī)模分別達到了4.54億和3.35億。IDC預測，智能家居及可穿戴設備是未來物聯(lián)網(wǎng)的主要增長點，預計2026年連接數(shù)量接近60億個。視覺作為智能家居行業(yè)的核心端口，成為落地最快、覆蓋度最高的主流設備。
螢石作為領先的物聯(lián)網(wǎng)云平臺提供商，在音視頻領域持續(xù)引領，以云服務為依托，驅動智能家居行業(yè)及以零售連鎖為代表的更多行業(yè)實現(xiàn)視覺智能應用升級，幫助企業(yè)客戶降本增效。
目前，螢石云在智慧連鎖、智慧建筑、教育教學、應急管理、醫(yī)療養(yǎng)老、娛樂競技、智能制造等多個領域與優(yōu)秀的開發(fā)者合作伙伴共同實現(xiàn)了一系列豐富的視覺應用解決方案。截至2023年底，螢石云已經(jīng)擁有超過1.57億全球消費者，31萬以上的開發(fā)者客戶，月活躍用戶超過5400萬，全球接入IoT設備數(shù)量達到2.5億以上。
隨著行業(yè)需求的不斷深化和挑戰(zhàn)，螢石云也在不斷迭代和提升其平臺開發(fā)能力。
螢石開放平臺再升級，以AI助力自助服務場景
作為螢石業(yè)務開展早期便采取開放服務模式的螢石開放平臺，一直在將沉淀、驗證的PaaS組件能力輸出給行業(yè)，促進行業(yè)解決方案實現(xiàn)視頻化、智能化。
目前，螢石云物聯(lián)網(wǎng)平臺已經(jīng)實現(xiàn)南北向都開放，南向為設備制造商提供云接入能力，已經(jīng)有超過10萬款設備型號內置了螢石云協(xié)議。北向為行業(yè)開發(fā)者開放云上沉淀的物聯(lián)音視頻能力，去輔助開發(fā)者構建自己的行業(yè)解決方案。平臺已經(jīng)累計發(fā)布了共計超過1000個開放接口，涉及接入、直播、通話、存儲、AI、信令和用戶連接7個類別，31組原子能力，以及20多款aPaaS場景化集成組件。
近年來，隨著音視頻技術的不斷發(fā)展和年輕一代對便捷自主消費方式的偏好，使得自助消費成為了一種趨勢，節(jié)省了消費者時間的同時也幫助商家降低了運營成本。
基于對客戶場景的觀察，螢石發(fā)現(xiàn)遠程化巡檢能力、及時響應的連線服務能力和低成本運維能力對于客戶物聯(lián)系統(tǒng)的支撐起到越來越關鍵的作用。
首先是遠程化巡檢能力。隨著人工成本越來越高，利用現(xiàn)場攝像機疊加AI算法進行視頻巡檢，已經(jīng)成為一種趨勢。但是傳統(tǒng)的小模型算法誤報率較高，需要投入大量人工進行糾偏，這樣一來，巡檢省下的人工成本又體現(xiàn)在了算法糾偏上。
其次是及時響應的連線服務能力。真人語音和視頻化的云店員方案，正在代替過去線下店員提供給顧客的及時反饋服務。在這種場景下，用戶體驗很大程度上取決于云店員的智能程度。
最后是低成本運維能力。這主要體現(xiàn)為系統(tǒng)出現(xiàn)問題后，如何快速恢復。通常，為了保障時效性，運維工作都交由本地化團隊，但是大量物聯(lián)設備的應用，讓物聯(lián)系統(tǒng)的復雜度急劇上升，從而導致人工的學習成本急劇上升。
大模型技術的突破，為應對上述問題、實現(xiàn)和升級相關能力提供了良好契機。
6月27日，在以“AI達百業(yè)，視之所向”為主題的2024ECDC螢石云開發(fā)者大會上，螢石基于自研大模型技術對其開放平臺進行了重磅升級，推出了更優(yōu)的開發(fā)者集成方案，包括智能視覺巡檢組件、智能視頻客服組件，以及遠程排障專家工具，幫助企業(yè)快速升級智能化能力，保障項目盡快上線。
智能視頻巡檢組件。為了提升遠程巡檢能力，螢石基于其自研大模型技術，對其智能視頻巡檢組件進行了升級。一方面，延續(xù)了端云一體化設計，保障了視頻輪換、內容抓取和存儲及算法執(zhí)行的性能和靈活性。大模型則提升了準確度，也大幅降低了初始化訓練的樣本。借助知識蒸餾技術，可以不斷升級設備中的各種算法，實現(xiàn)持續(xù)進化，從而更好地控制長期使用成本。該組件適用于各種行業(yè)的遠程視頻巡檢場景，如臺球廳、收銀防飛單、餐飲規(guī)范治理及無人服務防糾紛等。
智能視頻客服組件。通過自研大模型的數(shù)字分身復刻能力和大語言模型能力，可以實現(xiàn)全天候不間斷的連線服務。通過這一組件，開發(fā)者還可以維護自己所處行業(yè)擅長的營銷服務相關語料，實現(xiàn)更加個性化的服務。
遠程排障專家工具。該工具能夠主動收集設備的狀態(tài)和指標，及時發(fā)現(xiàn)潛在問題。還可以通過端云一體化的遠程手段實現(xiàn)問題定位和恢復。更重要的是，通過自研大模型基于智能家居場景訓練的智能排障服務專家模型，可以通過圖文、語音、視頻連線等形式為客戶提供排障咨詢和幫助，大幅提升了運維效率，降低了維護成本。
藍海大模型，讓音視頻開發(fā)工作更智能
此次螢石開放平臺升級背后的功臣，首推螢石自研的藍海大模型。藍海大模型是螢石自研的針對垂直物聯(lián)網(wǎng)場景的具身智能大模型，可以接入各類感知設備，處理和理解多模態(tài)數(shù)據(jù)，最終實現(xiàn)智能化的行動規(guī)劃。
螢石的AI技術策略旨在強化IoT與物理世界感知，構建具身大腦，實現(xiàn)多智能體端云聯(lián)動。根據(jù)復雜度對AI進行能力層級定義，從L0到L4，依次為專有算法、單模態(tài)交互、多模態(tài)交互、具身式交互以及具身智能體。
藍海大模型具有以下特點：在開發(fā)開放方面，提供原子級算法，各層級能力可端云協(xié)同，大模型私有化；在基礎交互方面，支持IoT控制、語音問答、多模態(tài)問答、多模態(tài)生成等功能；在具身代理方面，提供開發(fā)助手、陪伴助手、會議助手、安防助手等多種智能應用。
螢石AI開放技術提供智能物聯(lián)場景百余種算法，包括29大類93種原子算法，涉及數(shù)據(jù)治理、音視頻處理和模型部署；73種L0深度算法，涵蓋文本、音頻和圖像視頻算法；26種L1-L3交互算法，支持語音交互、多模態(tài)交互、圖像生成和具身代理。螢石正在依照法律法規(guī)要求履行相關算法的安全測評、備案等手續(xù)。
新一代HomePlay OS架構，提升大模型使用效率
為降低大模型的使用門檻，保持成本可控，螢石推出了新一代架構——HomePlay OS。該架構以提升用戶的生活和工作體驗為核心，專注于人、家庭及商業(yè)環(huán)境，提供智能代理和以視覺為核心的AI能力，使開發(fā)者能夠以快速、靈活、低成本的方式開發(fā)智能場景或應用。
首先，HomePlay OS采用AI核心，具備類比人類能力完成任務的特性，能夠感知、計算和反饋，并通過用戶學習和自我學習實現(xiàn)短期記憶與用戶交互。
其次，代理封裝功能使得開發(fā)者更易于使用，通過代理角色服務用戶，并封裝協(xié)調復雜的模型和服務交互。
再次，端云協(xié)同能夠更高效地完成任務，包括初略和精細過濾模式、粗加工和精加工模式以及簡單和復雜規(guī)劃的結合。隱私保護方面，系統(tǒng)通過數(shù)據(jù)端到端內容加密、訓練數(shù)據(jù)閉環(huán)受控和近場計算優(yōu)先等措施，確保用戶數(shù)據(jù)的安全性和隱私性。
最后，HomePlay OS強調全棧開放性，支持多層不同形式的開放性，包括算法開放、硬件接入、模型和服務組合，支持開發(fā)專屬代理以及低門檻使用，滿足不同開發(fā)者的需求，促進創(chuàng)新和發(fā)展。
落地案例印證螢石開放平臺AI能力
以AI技術推動服務升級，最終的效果如何需要通過客戶體驗來判定。如果沒有用戶的積極反饋和認可，所有的技術創(chuàng)新都是一廂情愿的無效努力。
談小娛是自助臺球開創(chuàng)者，已在全國布局300多個城市，超過5000家門店，覆蓋用戶800多萬人，談小娛輕裝上陣，利用視覺能力，讓監(jiān)控、運營、營銷等重人力環(huán)節(jié)高效釋放，持續(xù)為業(yè)務擴張?zhí)峁﹦恿??；谖炇品漳芰?，談小娛?chuàng)新性打造了視頻內容生產(chǎn)和用戶直播功能，通過自動獲取精彩瞬間、低延時直播等方式，進一步放大臺球在短視頻時代的社交屬性。雙方在AI 應用上合作精進，已上線AI短視頻剪輯、AI視覺追蹤算法清臺、AI電子裁判及AI數(shù)據(jù)化運營等豐富的運營、管理方案。
酷店掌是專注于連鎖門店的數(shù)字化運營服務商，合作終端店鋪150,000+，對傳統(tǒng)門店智能化升級具備豐富的實踐經(jīng)驗。基于螢石云物聯(lián)底座，酷店掌推出了數(shù)字化門店運營變革方案，新一代門店管理已全面啟用數(shù)字化、可視化和AI 智能化，涵蓋線上線下巡店、人員管理、運營管理、業(yè)務培訓、經(jīng)營分析等維度，不斷優(yōu)化門店降本增效的新策略。24年，酷店掌還進一步引入了螢石物聯(lián)專有云服務，構建專屬的視頻AIoT平臺，為自身業(yè)務不斷上漲的智能設備管理持續(xù)保駕護航。
通過與談小娛和酷店掌等領先企業(yè)的合作，螢石云不僅成功地將其AI能力轉化為可見的業(yè)務成果，還通過這些合作伙伴的成功案例，展示了AI技術在提高效率、優(yōu)化成本和增強用戶體驗方面的真實潛力。
寫在最后
讓AI技術走出比特世界，通過與實體設備結合進而影響現(xiàn)實物理世界是AI技術發(fā)展的下一步。以螢石為代表的智能物聯(lián)及視覺技術服務企業(yè)，正依托于其扎實的業(yè)務基礎和對AI及行業(yè)未來趨勢的深刻理解，探索將AI技術與物聯(lián)網(wǎng)設備整合的新途徑。
基于藍海大模型和HomePlay OS架構支撐的螢石開放平臺，不僅為開發(fā)者提供了強大的工具和資源，也為終端用戶創(chuàng)造了更加智能和便捷的生活方式。圍繞音視頻技術，螢石正在通過一系列從基礎算法到高級應用的技術迭代，投身于一場旨在提升行業(yè)效率、增強用戶體驗，并持續(xù)推動物聯(lián)網(wǎng)生態(tài)創(chuàng)新的技術革命。
