相較于1.0版本，「梧桐」大模型2.0在數(shù)據(jù)、推訓(xùn)以及測試發(fā)布等多個重要維度上，對產(chǎn)品開發(fā)架構(gòu)進(jìn)行了深入全面的重塑與優(yōu)化，能夠在圖像質(zhì)量、算法精度、算法生產(chǎn)率、服務(wù)效率和用戶體驗等方面給產(chǎn)品帶來顯著提升，為解決更細(xì)分、更碎片化的場景業(yè)務(wù)需求降本提效。

圖 宇視合作伙伴大會上[ 梧桐 ]大模型2.0發(fā)布

       數(shù)據(jù)融合分析，解決黑夜成像難題

　　最近驚艷行業(yè)的獵光2.0圖像處理引擎，正是得益于「梧桐」大模型的AI算法加持，從而使前端攝像機(jī)可以應(yīng)對多種極黑/無光/微光場景挑戰(zhàn)。

　　該算法具備超強(qiáng)的多場景數(shù)據(jù)融合分析能力，能夠?qū)Σ煌瑘鼍跋碌臄?shù)據(jù)進(jìn)行精準(zhǔn)而深入的融合與分析，從而實現(xiàn)對周圍環(huán)境全方位的態(tài)勢感知。即使在低至令人難以置信的≤0.0001 Lux的照度環(huán)境下，依然能夠讓圖像呈現(xiàn)出如同在白晝中一般的鮮艷色彩。

圖 傳統(tǒng)全彩相機(jī)和獵光2.0相機(jī)效果對比

        多模態(tài)能力融合，高效視頻數(shù)據(jù)服務(wù)

　　「梧桐」大模型將自然語言處理能力、視頻特征提取能力和語音內(nèi)容理解能力進(jìn)行深度融合，可以對用戶輸入的語言文字進(jìn)行深度解析和語義理解，對用戶輸入的語音進(jìn)行解碼識別和分析， 同時通過大模型特征表示提取視頻中的目標(biāo)、地點、事件等多維信息，準(zhǔn)確理解視頻或圖片內(nèi)容，從而快速檢索匹配出關(guān)鍵字或語音對應(yīng)的視圖內(nèi)容。

　　例如，當(dāng)需要搜索“河邊釣魚的人”的視頻內(nèi)容時，用戶只需要輸入文字描述，視頻數(shù)據(jù)服務(wù)系統(tǒng)就能從海量的視頻內(nèi)容中快速檢索出貼近用戶意圖的搜索結(jié)果，在城市管理、交通治理、園區(qū)運(yùn)營等場景幫助提升管理效率和降低人工成本。

圖 視頻內(nèi)容快速檢索演示

        深度學(xué)習(xí)訓(xùn)練，構(gòu)建智能客服助手

　　「梧桐」大模型具備強(qiáng)大的深度學(xué)習(xí)能力，通過學(xué)習(xí)宇視多年積累的資料庫，構(gòu)建智能客服小助手，相較于傳統(tǒng)的觸發(fā)式客服機(jī)器人，不但對話更自然，且對用戶的問題理解力更強(qiáng)，能夠準(zhǔn)確地回答更多問題，大幅降低人工客服成本。

圖 宇視智能客服助手問答演示

　　場景算法快速生產(chǎn)，提升用戶體驗

　　基于「梧桐」大模型，可以快速完成場景算法模型的訓(xùn)練生產(chǎn)，如宇視面向文旅場景提供的旅拍兔VLOG服務(wù)，其中核心算法能力就是「梧桐」大模型提供的：可以快速將游客人像信息和視頻畫面自動匹配，生成最優(yōu)視頻片段，同時通過AI體態(tài)分析精準(zhǔn)識別人體軀干、四肢到手指的精細(xì)動作以及面部的精細(xì)表情，精準(zhǔn)捕捉游客的精彩POSE瞬間。最后基于多模態(tài)技術(shù)對各場景和動作進(jìn)行分析，自動疊加最匹配的圖層、特效，還能進(jìn)行畫面人物消除和畫面優(yōu)化。

圖 游客照經(jīng)過算法處理后的效果對比

　　大模型技術(shù)是AIoT行業(yè)當(dāng)下最大的技術(shù)變量，宇視將持續(xù)探索「梧桐」大模型能力的高效應(yīng)用，將更多創(chuàng)新成果惠及千行百業(yè)，守護(hù)安全美好生活!