伴隨著全球人工智能技術(shù)飛速進(jìn)步，具身智能產(chǎn)業(yè)迅猛發(fā)展，賦予機(jī)器人類人化的泛化能力是具身智能機(jī)器人技術(shù)的核心目標(biāo)之一，實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵在于如何使各類機(jī)器人本體在面對多樣化的環(huán)境和任務(wù)時(shí)，能夠展現(xiàn)出卓越的性能。
正如ChatGPT需要海量文本數(shù)據(jù)來訓(xùn)練一樣，想要培養(yǎng)出一個(gè)能力全面的機(jī)器人，也需要大量優(yōu)質(zhì)的訓(xùn)練數(shù)據(jù)，數(shù)據(jù)集是具身智能技術(shù)發(fā)展的重要基石。與視覺或語言數(shù)據(jù)的獲取相比，收集機(jī)器人訓(xùn)練數(shù)據(jù)遠(yuǎn)比收集文本或圖像數(shù)據(jù)困難得多，需要在專門的環(huán)境中記錄機(jī)器人的每個(gè)關(guān)節(jié)動作和末端執(zhí)行器的信息，這個(gè)過程不僅需要昂貴的硬件設(shè)備，還需投入大量人力來確保數(shù)據(jù)質(zhì)量，因而業(yè)內(nèi)目前最具通用性的機(jī)器人操作策略主要依賴于在有限多樣性條件下收集的數(shù)據(jù)，大規(guī)模多構(gòu)型具身智能數(shù)據(jù)集和Benchmark是極為稀缺的資源。
一、RoboMIND數(shù)據(jù)集特征分析：
1）多樣化構(gòu)型：RoboMIND的數(shù)據(jù)來源包括31,005條Franka Emika Panda單臂機(jī)器人軌跡、9,686條“天工”AC米蘭機(jī)器人軌跡、8,030條AgileX Cobot Magic V2.0雙臂機(jī)器人軌跡以及6,911條UR-5e單臂機(jī)器人軌跡。研究團(tuán)隊(duì)使用自研的“天工”AC米蘭機(jī)器人，收集了17.4%的數(shù)據(jù)，其中包含了大量的雙臂操作任務(wù)，需要較高的雙臂協(xié)調(diào)能力。
2）多樣化軌跡長度：研究團(tuán)隊(duì)計(jì)算了每種機(jī)器人模型在任務(wù)執(zhí)行過程中的平均任務(wù)時(shí)長（即每條軌跡中的時(shí)間步數(shù)）。如圖所示，F(xiàn)ranka和UR的任務(wù)通常具有較短的軌跡（少于200個(gè)時(shí)間步），適合用于訓(xùn)練基礎(chǔ)技能。相比之下，“天工”和AgileX的任務(wù)軌跡較長（超過500個(gè)時(shí)間步），更適合用于長時(shí)間跨度的任務(wù)訓(xùn)練以及技能組合。
下圖展示了四種機(jī)器人平臺在任務(wù)中所涉及的技能數(shù)量分布的直方圖。從圖中可以看出，AgileX的任務(wù)通常涉及兩到三種組合技能，這使得任務(wù)的時(shí)長較長。而“天工”的任務(wù)則長度不一，其中一些任務(wù)涉及多達(dá)五種技能。為了進(jìn)一步說明這一點(diǎn)，研究團(tuán)隊(duì)選取了一項(xiàng)包含三種技能的AgileX任務(wù)，并在圖中展示了其雙臂操作的軌跡：首先，兩只手臂依次執(zhí)行抓取技能，隨后左臂將胡蘿卜放置，右臂將其移交給黑色盤子，整個(gè)過程需要高水平的協(xié)調(diào)操作能力。
3）任務(wù)多樣性強(qiáng)：研究團(tuán)隊(duì)根據(jù)自然語言描述，根據(jù)物品大小、使用場景、操作技能等因素，將整個(gè)數(shù)據(jù)集中的任務(wù)分為了五大類，分別是：基礎(chǔ)技能、精準(zhǔn)操作、場景理解、柜體操作、協(xié)作任務(wù)。任務(wù)的具體分布如下所示：
可以看出，除了基礎(chǔ)的操作任務(wù)，RoboMIND數(shù)據(jù)集還包含了大量的復(fù)雜任務(wù)，為通用機(jī)器人策略的訓(xùn)練提供了豐富的數(shù)據(jù)保障。
4）物品類別豐富：RoboMIND數(shù)據(jù)集包含了61種不同的物品類別，具體如下所示?？梢钥闯觯趶N房場景中，數(shù)據(jù)集不僅包含了常見的食物，如草莓、雞蛋、香蕉和梨子等，也包括了復(fù)雜的可調(diào)節(jié)物體，如烤箱和面包機(jī)。在家庭場景中，數(shù)據(jù)集既包括了剛性物體，如網(wǎng)球，也包括了可變形物體，如玩具。辦公和工業(yè)場景則包含了需要精確控制的小物體，如電池和齒輪。多樣化的物體種類不僅增加了數(shù)據(jù)集的復(fù)雜性，也有助于訓(xùn)練能夠在各種環(huán)境下執(zhí)行操作的通用操控策略。
5）語言描述精確：以AI（Gemini）和人工審核相結(jié)合的方式，研究團(tuán)隊(duì)為10000條成功軌跡提供詳細(xì)的語言注釋，包括關(guān)鍵物體、重要操作和操作細(xì)節(jié)等。
二、RoboMIND數(shù)據(jù)收集策略：
1）遙操作真機(jī)數(shù)據(jù)采集
與通常通過腳本化收集、或者依靠VR設(shè)備的機(jī)械運(yùn)動數(shù)據(jù)不同，RoboMIND的數(shù)據(jù)通過自研的遙操作系統(tǒng)進(jìn)行收集，更自然、連貫和平滑，能夠更好地模擬人類的行為和認(rèn)知過程。對于Franka、UR-5e機(jī)器人和模擬機(jī)器人，研究團(tuán)隊(duì)按照Gello方法的設(shè)置，創(chuàng)建了相應(yīng)的同類遙操作設(shè)備和控制系統(tǒng)。對于AgileX機(jī)器人，研究團(tuán)隊(duì)采用了內(nèi)建的雙臂遙操作系統(tǒng)。而對于AC米蘭機(jī)器人“天工”，研究團(tuán)隊(duì)結(jié)合使用了Xsens動作捕捉服和Gello風(fēng)格的遙操作設(shè)備。所有數(shù)據(jù)收集工作都在指定的內(nèi)部區(qū)域進(jìn)行，且操作人員的輪換最小化，保持統(tǒng)一的收集節(jié)奏，遵循內(nèi)部標(biāo)準(zhǔn)，從而提高數(shù)據(jù)集的質(zhì)量。
2）智能數(shù)據(jù)平臺管理
隨著收集數(shù)據(jù)量的增長，數(shù)據(jù)的高效記錄、傳輸、管理和分析成為了一個(gè)重大挑戰(zhàn)。為了支持具身智能系統(tǒng)的設(shè)計(jì)和開發(fā)，研究團(tuán)隊(duì)開發(fā)了一個(gè)智能數(shù)據(jù)平臺，該平臺采用云原生架構(gòu)和分布式計(jì)算，可進(jìn)行大規(guī)模數(shù)據(jù)處理，提供以下四大功能模塊：
3）數(shù)據(jù)質(zhì)檢
由于所有數(shù)據(jù)都來源于操作員實(shí)時(shí)控制系統(tǒng)，可能會因?yàn)椴僮鲉T的身體限制（如疲勞、習(xí)慣、注意力分散或外部干擾）而導(dǎo)致錯(cuò)誤。為了減輕這些問題，研究團(tuán)隊(duì)通過輪換系統(tǒng)和提供舒適環(huán)境的方式，幫助操作員保持專注。此外，研究團(tuán)隊(duì)還對收集到的所有數(shù)據(jù)進(jìn)行質(zhì)量檢查，以確保其可靠性。研究團(tuán)隊(duì)還定義了質(zhì)量保證標(biāo)準(zhǔn)，避免不必要的接觸和重復(fù)抓取等問題。質(zhì)量保證過程分為以下三個(gè)步驟：
這一系列嚴(yán)格的數(shù)據(jù)收集和質(zhì)量管理流程，確保了數(shù)據(jù)的高質(zhì)量和可靠性，有助于為訓(xùn)練更加精準(zhǔn)和可靠的機(jī)器人模型奠定堅(jiān)實(shí)的基礎(chǔ)。
三、RoboMIND數(shù)據(jù)集實(shí)驗(yàn)驗(yàn)證：
研究團(tuán)隊(duì)使用RoboMIND數(shù)據(jù)集，測試了4種目前主流的機(jī)器人學(xué)習(xí)模型，分別為ACT、BAKU、RDT-1B和OpenVLA。以下是RoboMIND數(shù)據(jù)集包含的部分任務(wù)樣例：
在單任務(wù)實(shí)驗(yàn)中，研究團(tuán)隊(duì)根據(jù)任務(wù)類型、物品類型等，均勻選取了45個(gè)代表性任務(wù)進(jìn)行訓(xùn)練和測試，實(shí)驗(yàn)結(jié)果如下：
如上圖所示，研究團(tuán)隊(duì)發(fā)現(xiàn)ACT算法在AgileX機(jī)器人上對15個(gè)任務(wù)的平均成功率為55.3%，其他構(gòu)型上Franka（30.7%）、UR-5e（38.0%）和“天工”（34.0%）。實(shí)驗(yàn)結(jié)果表明，ACT算法在大多數(shù)任務(wù)中至少能夠完成一次成功的任務(wù)，這不僅證明了該方法的有效性，還驗(yàn)證了RoboMIND提供的視覺感知和機(jī)器人關(guān)節(jié)信息的準(zhǔn)確性。
此外，ACT算法在一些更為復(fù)雜的“天工”任務(wù)上也取得了不錯(cuò)的結(jié)果，例如在TK-CloseDrawerLowerCabinet任務(wù)上取得了60%的成功率。這些結(jié)果表明ACT在復(fù)雜的靈巧手操作任務(wù)中表現(xiàn)穩(wěn)健，突顯了RoboMIND數(shù)據(jù)的高質(zhì)量。因此，研究團(tuán)隊(duì)認(rèn)為，RoboMIND中包含的單臂、雙臂和靈巧手的數(shù)據(jù)集，能夠作為高質(zhì)量的訓(xùn)練集，提升單任務(wù)模仿學(xué)習(xí)的表現(xiàn)，從而推動整個(gè)視覺-語言-動作（VLA）模仿學(xué)習(xí)領(lǐng)域的發(fā)展。
在多任務(wù)實(shí)驗(yàn)中，研究團(tuán)隊(duì)使用多類不同任務(wù)和技能組合成的多任務(wù)數(shù)據(jù)集，分別測試了RDT-1B和OpenVLA的效果，結(jié)果如下：
•RDT-1B模型：
在多項(xiàng)任務(wù)中表現(xiàn)優(yōu)異，例如在將蘋果放入藍(lán)色盤子中高達(dá)80%成功率。
可以看出，RDT-1B和OpenVLA均展現(xiàn)出了一定的多任務(wù)操作能力，經(jīng)過在多種模仿學(xué)習(xí)模型上的測試驗(yàn)證，通過RoboMIND數(shù)據(jù)集進(jìn)行模型訓(xùn)練，可有效改進(jìn)機(jī)器人的操作策略，實(shí)現(xiàn)更高的操作成功率，且展現(xiàn)出強(qiáng)大的泛化能力。
結(jié)語：
RoboMIND為機(jī)器人操作模型的訓(xùn)練提供了一個(gè)高質(zhì)量、廣泛多樣的數(shù)據(jù)基礎(chǔ)，旨在提升機(jī)器人在復(fù)雜環(huán)境中的操作能力和適應(yīng)性。通過大規(guī)模、多樣化的數(shù)據(jù)集，機(jī)器人模型能夠更好地適應(yīng)各種任務(wù)和環(huán)境變化，從而推動通用機(jī)器人技術(shù)的發(fā)展。
京公網(wǎng)安備11011202100775號