奧比中光官網(wǎng)消息,近期,奧比中光研發(fā)團(tuán)隊(duì)結(jié)合機(jī)械臂與大模型,利用語音、語言、視覺-語言大模型,輔以O(shè)rbbec Gemini 2系列深度相機(jī)的數(shù)據(jù)輸入,打造出一個(gè)能夠理解、執(zhí)行語音任務(wù)的機(jī)械臂。該項(xiàng)目將基于多模態(tài)大模型的機(jī)械臂從仿真環(huán)境落地到現(xiàn)實(shí)世界,拓展智能機(jī)械臂應(yīng)用潛能。
目前,該項(xiàng)目在1.0階段打通了多模態(tài)大模型在機(jī)械臂上的應(yīng)用部署baseline。奧比中光正在進(jìn)一步優(yōu)化多模態(tài)指令理解、多傳感器融合感知、機(jī)械臂軌跡規(guī)劃控制、末端抓取控制等方面,未來將推出大模型機(jī)器人控制系統(tǒng),讓機(jī)器人更加智能、靈活,適應(yīng)更加復(fù)雜的操作場(chǎng)景。