文章摘要：沃豐科技GaussMind作為人工智能客服領(lǐng)域的領(lǐng)航者，已經(jīng)在AI大模型方面取得重大進(jìn)展。沃豐科技GaussMind緊跟前沿技術(shù)腳步，將AI大模型應(yīng)用到了智能客服領(lǐng)域，在相似問(wèn)題推薦、情緒識(shí)別等領(lǐng)域取得了重要成果。

當(dāng)前，世界人工智能技術(shù)進(jìn)入“第三浪”，正經(jīng)歷突飛猛進(jìn)的發(fā)展。從業(yè)界角度，在過(guò)去的2021 年如果要選一個(gè)年度行業(yè)關(guān)鍵詞，非 "大模型"莫屬。AI大模型依靠巨量的訓(xùn)練數(shù)據(jù)，大大提高了人工智能的通用性，其強(qiáng)大的能力令人贊嘆。

沃豐科技GaussMind作為人工智能客服領(lǐng)域的領(lǐng)航者，已經(jīng)在AI大模型方面取得重大進(jìn)展。沃豐科技GaussMind緊跟前沿技術(shù)腳步，將AI大模型應(yīng)用到了智能客服領(lǐng)域，在相似問(wèn)題推薦、情緒識(shí)別等領(lǐng)域取得了重要成果。

參數(shù)量從1750億到1.6萬(wàn)億

AI大模型已經(jīng)成為了人工智能領(lǐng)域新的高地，只用了一年多的時(shí)間，AI大模型瘋狂迭代，技術(shù)不斷突破。參數(shù)量級(jí)從千億、萬(wàn)億，迅速躍遷到10萬(wàn)億級(jí)別。各大科技巨頭，爭(zhēng)相進(jìn)入賽道，角逐日漸激烈。

2020年6月，在訓(xùn)練約2000億個(gè)單詞后，模型規(guī)模達(dá)到 1750 億參數(shù)、被業(yè)界大咖稱為“史上最強(qiáng)大AI模型”的GPT-3一炮而紅。寫小說(shuō)、編劇本、敲代碼……GPT-3無(wú)所不能。2021年1月，谷歌提出了自己的模型，聲稱參數(shù)量提高到1.6萬(wàn)億。在計(jì)算資源相同情況下，訓(xùn)練速度大大提升。隨后，華為、阿里等國(guó)內(nèi)廠商也先后推出了自己的大模型。

大模型預(yù)訓(xùn)練模型

前沿廠商AI大模型的應(yīng)用示范

一直以來(lái)，前沿技術(shù)如何與實(shí)際結(jié)合，發(fā)揮應(yīng)有的商業(yè)和社會(huì)價(jià)值，都是行業(yè)內(nèi)的重點(diǎn)難點(diǎn)，AI模型亦是如此。如何能讓模型更好地適配場(chǎng)景，困擾著諸多的巨頭與業(yè)內(nèi)專家。雖然大模型仍處于探索期，但一線廠商借助大模型的優(yōu)勢(shì)、資深行業(yè)經(jīng)驗(yàn)，依然給出了精彩的應(yīng)用示范。

其中，華為云“盤古”推出了藥物分子大模型，實(shí)現(xiàn)了全流程AI輔助藥物設(shè)計(jì)；智能電力巡檢場(chǎng)景用無(wú)人機(jī)代替人工進(jìn)行缺陷檢測(cè)；智源“悟道”大模型助力北京冬奧會(huì)手語(yǔ)翻譯播報(bào)；還有智能居家、智能車載、智能設(shè)計(jì)等等。

大模型已經(jīng)可以在能源、醫(yī)療、物流、金融等100多個(gè)場(chǎng)景實(shí)際應(yīng)用，為企業(yè)效率提升做出了重要貢獻(xiàn)。但在智能客服領(lǐng)域，大模型的落地并不十分順利。作為智能客服領(lǐng)域領(lǐng)頭羊，沃豐科技GaussMind一直在思考，是什么制約著大模型的應(yīng)用？大模型能夠?yàn)橹悄芸头?lái)怎樣的改變？沃豐科技GaussMind以切身實(shí)踐，著力探索大模型在行業(yè)內(nèi)的應(yīng)用之路。

AI大模型的技術(shù)優(yōu)勢(shì)明顯

在模型結(jié)構(gòu)趨于穩(wěn)定的情況下不斷實(shí)現(xiàn)精度突破

優(yōu)秀的推理能力是模型增大最為突出的優(yōu)勢(shì)。沃豐科技GaussMind在基礎(chǔ)AI能力之上，通過(guò)對(duì)大模型的使用，在語(yǔ)音技術(shù)噪聲問(wèn)題、口音問(wèn)題、鈴聲問(wèn)題，自然語(yǔ)言處理的動(dòng)態(tài)場(chǎng)景元素缺失問(wèn)題、語(yǔ)義深度推理問(wèn)題、多意圖理解問(wèn)題等方面都有了不同程度的提升。沃豐科技GaussMind通過(guò)模型推理+人工的方式，產(chǎn)出了一批更優(yōu)質(zhì)、更具有溫度的機(jī)器人答案。同時(shí)我們也在研究、改進(jìn)模型，業(yè)務(wù)與研發(fā)齊頭并進(jìn)。

圖像和自然語(yǔ)言處理任務(wù)隨著模型的更迭，準(zhǔn)確率持續(xù)突破

減少對(duì)數(shù)據(jù)標(biāo)注的要求

標(biāo)注數(shù)據(jù)一直是制約模型效果的難題，人工標(biāo)注數(shù)據(jù)費(fèi)時(shí)費(fèi)力。大模型擁有自監(jiān)督的學(xué)習(xí)方法，可以很大程度減輕對(duì)標(biāo)注數(shù)據(jù)的依賴。尤其是面對(duì)小樣本數(shù)據(jù)時(shí)，數(shù)據(jù)量不足的問(wèn)題就更加突出。以往的小樣本效果都不盡人意，我們?cè)趪L試大模型后，依靠少量標(biāo)注數(shù)據(jù)就可以達(dá)到不錯(cuò)的效果，提高效果的同時(shí)極大程度地減輕了人工壓力。

為下游任務(wù)提供預(yù)訓(xùn)練方案

AI模型研發(fā)成本極高，很難滿足市場(chǎng)定制化需求。于是大模型提供了一種“預(yù)訓(xùn)練+下游微調(diào)”的模式。沃豐科技GaussMind以大模型為中心，去適應(yīng)特定領(lǐng)域的業(yè)務(wù)，極大地提高了模型的泛化能力。

大模型落地的難點(diǎn)

成本過(guò)高

有趣的是，在GPT-3的論壇中，有一個(gè)非常扎心的標(biāo)簽：“炫富”。

以紅極一時(shí)，家喻戶曉的BERT模型來(lái)說(shuō)，訓(xùn)練一次的成本大概要1.2萬(wàn)美元，GPT-2的成本大概是BERT的3-4倍。而GPT-3的參數(shù)量是GPT-2的100倍，訓(xùn)練成本估計(jì)在千萬(wàn)美元之上。這個(gè)數(shù)字，對(duì)于很多公司是遙不可及的，更不用說(shuō)最新的模型參數(shù)已經(jīng)遠(yuǎn)不是GPT-3的數(shù)量級(jí)了，所需經(jīng)費(fèi)已經(jīng)成為了天文數(shù)字。

同時(shí)，大模型的能力并沒(méi)有強(qiáng)大到讓人忽略成本。一些任務(wù)量小的場(chǎng)景，一味依賴模型，只會(huì)造成資源浪費(fèi)，如“大炮打蚊子”。如何在控制成本與提升效率、提高客戶滿意度中權(quán)衡，成為了大模型落地智能客服的關(guān)鍵問(wèn)題。

響應(yīng)耗時(shí)長(zhǎng)

經(jīng)過(guò)對(duì)大模型接口的測(cè)試，僅僅是Q&A問(wèn)答接口，平均響應(yīng)時(shí)間就要到2min，創(chuàng)作圖片的接口響應(yīng)時(shí)間在3-5min，一些復(fù)雜功能接口的響應(yīng)時(shí)間到了十幾分鐘。智能客服產(chǎn)品，對(duì)線上的問(wèn)答要求在毫秒級(jí)。很顯然，這樣的時(shí)耗在匹配線上要求時(shí)效性的場(chǎng)景時(shí)顯然是不能滿足的。

大模型在智能客服領(lǐng)域的應(yīng)用實(shí)踐

情緒識(shí)別

沃豐科技GaussMind基于ALBERT、悟道GLM模型在客服情感識(shí)別方面進(jìn)行了驗(yàn)證，其中訓(xùn)練數(shù)據(jù)10w條，驗(yàn)證集和測(cè)試集均1w條。

從上表中可以看出，預(yù)訓(xùn)練大模型ALBERT和悟道GLM模型相比傳統(tǒng)的深度學(xué)習(xí)模型TextCNN準(zhǔn)確率和召回率都有巨大的提升，而模型更大的悟道GLM相對(duì)效果更好一點(diǎn)。

相似問(wèn)題生成

大模型雖然受限于響應(yīng)時(shí)長(zhǎng)無(wú)法用于實(shí)時(shí)的問(wèn)答服務(wù)，但是其強(qiáng)大的生成能力，為智能客服的發(fā)展提供了另外一條道路。利用大模型的生成能力，可以快速生成大量的訓(xùn)練數(shù)據(jù)，經(jīng)過(guò)簡(jiǎn)單的人工審核之后，就可以加入到深度學(xué)習(xí)模型訓(xùn)練中，快速擴(kuò)展模型的訓(xùn)練數(shù)據(jù)量，從而不斷提高機(jī)器人的匹配率，快速提高機(jī)器人解決問(wèn)題的能力。

AI大模型，我們?cè)诼飞?/strong>

沃豐科技GaussMind作為智能客服領(lǐng)域的先鋒官，本著以客戶為中心的原則，時(shí)刻關(guān)注行業(yè)內(nèi)前沿技術(shù)，努力探索大模型技術(shù)發(fā)展方向，算法團(tuán)隊(duì)不斷優(yōu)化大模型依賴的底層技術(shù)，積累了大量的技術(shù)經(jīng)驗(yàn)和知識(shí)資源。

依靠核心產(chǎn)研團(tuán)隊(duì)，沃豐科技GaussMind不斷打磨適合企業(yè)服務(wù)場(chǎng)景的AI產(chǎn)品。始終按照既追求大模型的能力，又在保證精度要求的前提下，抓住響應(yīng)時(shí)長(zhǎng)的底線。讓智能客服領(lǐng)域體驗(yàn)到了大模型帶來(lái)的技術(shù)成果，為企業(yè)打造了更佳的客戶體驗(yàn)，更好地賦能業(yè)務(wù)進(jìn)行數(shù)字化轉(zhuǎn)型。

AI大模型的到來(lái)及應(yīng)用示范，讓人們看到了人工智能前沿技術(shù)走向通用的希望。沃豐科技GaussMind也將乘上大模型這股浪潮，實(shí)現(xiàn)NLP、ASR等深度學(xué)習(xí)技術(shù)的突破，向著“未來(lái)客服互動(dòng)由AI主導(dǎo)”的愿景不斷前行。

文章為沃豐科技原創(chuàng)，轉(zhuǎn)載需注明來(lái)源：http://www.gototw.com.cn/ucm/update/17173