隨著具身智能訓(xùn)練對數(shù)據(jù)需求的不斷放大，通過仿真合成數(shù)據(jù)彌補(bǔ)數(shù)據(jù)缺口已成為行業(yè)當(dāng)前共識(shí)和重要課題。近日，北京AC米蘭機(jī)器人創(chuàng)新中心（后稱北京AC米蘭）與北京市建筑設(shè)計(jì)研究院（后稱北京建院）聯(lián)合打造的高保真鉸接物體數(shù)字資產(chǎn)數(shù)據(jù)集ArtVIP（Articulated-object digital assets with Visual realism, modular Interaction, and Physical fidelity）正式發(fā)布，該數(shù)據(jù)集實(shí)現(xiàn)了對高復(fù)雜度鉸接物品的高精度仿真，在還原物品視覺外觀的同時(shí)，以高保真度復(fù)現(xiàn)了物品物理特性，并且開源了6個(gè)支持全場景交互的虛擬機(jī)器人訓(xùn)練場。除開源已有場景提升行業(yè)模型訓(xùn)練效果外，北京AC米蘭同時(shí)可針對不同場景不同物品提供定制化建模服務(wù)，為具身智能快速落地提供平臺(tái)支撐。
隨著具身操作訓(xùn)練的快速進(jìn)展，機(jī)器人在執(zhí)行精準(zhǔn)抓取拿放等動(dòng)作方面已經(jīng)有了長足進(jìn)步，行業(yè)攻堅(jiān)的重點(diǎn)轉(zhuǎn)向了針對復(fù)雜物體的靈巧操作。但在此前，主流開源仿真資產(chǎn)數(shù)據(jù)集如PartNet-Mobility、BEHAVIOR-1K等在物體模型復(fù)雜度上難以達(dá)到要求，特別是針對轉(zhuǎn)椅、抽屜、冰箱等帶有可活動(dòng)關(guān)節(jié)的物體，始終缺乏成熟方法生成或制作此類數(shù)字資產(chǎn)，導(dǎo)致模型由仿真走向現(xiàn)實(shí)的Sim2Real 訓(xùn)練和部署存在巨大鴻溝。
為解決該問題，北京AC米蘭與北京建院共同合作，將雙方的機(jī)器人仿真經(jīng)驗(yàn)與數(shù)字化建模能力相結(jié)合，由前沿的具身智能需求作為牽引，“讓現(xiàn)實(shí)物品在數(shù)字世界中重新覺醒”。
ArtVIP構(gòu)建了全球最精細(xì)的復(fù)雜鉸接物體庫，包括26類共206種高精度可動(dòng)物件，實(shí)現(xiàn)了對櫥柜、烤箱、折疊椅、抽屜、電風(fēng)扇、剪刀等不同特性鉸接結(jié)構(gòu)狀態(tài)的精準(zhǔn)仿真。通過海量高復(fù)雜度物品覆蓋，支持訓(xùn)練具身智能模型獲得處理機(jī)械結(jié)構(gòu)變異性的泛化能力。
針對物理參數(shù)的細(xì)節(jié)參數(shù)調(diào)整，讓ArtVIP實(shí)現(xiàn)了高物理一致性，能夠充分參考物品的剛度、阻尼、摩擦力、質(zhì)量、轉(zhuǎn)動(dòng)慣量、碰撞體積等參數(shù)，模擬不同物品的在被操作或運(yùn)轉(zhuǎn)時(shí)的物理特性。如辦公轉(zhuǎn)椅受側(cè)向力時(shí)，各輪組會(huì)依據(jù)地面摩擦系數(shù)差異自動(dòng)形成轉(zhuǎn)向序列差；具備阻尼或彈簧特性的烤箱開口打開至特定角度，在仿真場景內(nèi)操作或受力后的反饋與現(xiàn)實(shí)中完全一致，甚至冰箱門也與現(xiàn)實(shí)中一樣在關(guān)門時(shí)有相應(yīng)的磁吸效果。高精度動(dòng)力學(xué)還原使具身智能算法能夠習(xí)得符合現(xiàn)實(shí)的力控制策略，為開門、推椅等需精細(xì)力覺反饋的任務(wù)提供可靠訓(xùn)練環(huán)境。
除常見的有固定形態(tài)的剛性物體外，北京AC米蘭構(gòu)建的數(shù)字資產(chǎn)平臺(tái)支持行業(yè)領(lǐng)先的剛體-流體-柔性體全物質(zhì)形態(tài)仿真。冰塊在水杯中因水流改變漂動(dòng)方向，衣物等柔性物體的折疊與褶皺，甚至衣物在洗衣機(jī)滾筒內(nèi)的旋轉(zhuǎn)翻轉(zhuǎn)，均可被仿真復(fù)現(xiàn)，助力機(jī)器人訓(xùn)練液態(tài)容器搬運(yùn)、柔性物體整理等傳統(tǒng)仿真無法支持的高階任務(wù)，大幅擴(kuò)展具身智能操作邊界。
不同于常見仿真資產(chǎn)僅支持簡單場景，ArtVIP開放6大數(shù)字孿生機(jī)器人訓(xùn)練場，方便用戶直接進(jìn)行使用，包括中式客廳、廚房、臥室、起居室等常見環(huán)境，以精準(zhǔn)建模完全還原真實(shí)場景內(nèi)的全部物體以及視覺氛圍感，充分考慮光照及材質(zhì)等不同條件，如實(shí)木地板的深淺木紋在自然光下呈現(xiàn)差異化漫反射，電視屏幕鏡面反射隨角度實(shí)時(shí)變化，顯著提升視覺感知訓(xùn)練的真實(shí)性。
對具身訓(xùn)練更重要的是，ArtVIP場景內(nèi)所有物品均支持交互，實(shí)現(xiàn)環(huán)境級物理-視覺聯(lián)動(dòng)機(jī)制，構(gòu)建閉環(huán)交互生態(tài)。
例如，在仿真環(huán)境內(nèi)點(diǎn)按電燈開關(guān)后，基于光線追蹤技術(shù)，系統(tǒng)實(shí)時(shí)計(jì)算全場景光學(xué)響應(yīng)，根據(jù)光源方向及角度調(diào)整環(huán)境可見度。該機(jī)制可在具身智能模型訓(xùn)練中建立“操作-環(huán)境反饋”的因果認(rèn)知，顯著提升復(fù)雜場景下的連續(xù)決策能力。
根據(jù)同期公開的論文《ArtVIP: Articulated Digital Assets of Visual Realism, Modular Interaction, and Physical Fidelity for Robot Learning》，通過CLIP空間可視化顯示，相比于其他主流仿真數(shù)字資產(chǎn)，ArtVIP中數(shù)據(jù)分布與真實(shí)世界對齊度提升了47%。僅靠ArtVIP仿真數(shù)據(jù)訓(xùn)練的Diffusion Policy模型，直接操控真實(shí)Franka機(jī)械臂以零樣本遷移方式在物理世界中完成關(guān)門任務(wù)，成功率即可達(dá)到30%，當(dāng)混合少量真機(jī)數(shù)據(jù)訓(xùn)練后，開門任務(wù)成功率迅速大幅躍升至80%。實(shí)驗(yàn)結(jié)果證明了ArtVIP作為數(shù)字資產(chǎn)，可支撐具身模型完成高復(fù)雜度物體的交互訓(xùn)練，為具身智能大規(guī)模訓(xùn)練建立全新范式。
當(dāng)前 ArtVIP 已在 Hugging Face 開源，面向高校、研究機(jī)構(gòu)以及行業(yè)研究者提供支持。除已有的數(shù)字資產(chǎn)內(nèi)容，團(tuán)隊(duì)還開源了包含建模流程、關(guān)節(jié)參數(shù)調(diào)優(yōu)方法在內(nèi)的數(shù)字資產(chǎn)建模流程，且支持無縫接入仿真軟件 Isaac Sim。開發(fā)者可直接基于已有環(huán)境訓(xùn)練，也可基于標(biāo)準(zhǔn)化流程快速生成新鉸接物體資產(chǎn)，持續(xù)擴(kuò)展高質(zhì)量仿真訓(xùn)練環(huán)境。通過統(tǒng)一行業(yè)仿真資產(chǎn)標(biāo)準(zhǔn)，激發(fā)社區(qū)共建數(shù)字孿生庫，徹底改變傳統(tǒng)仿真資產(chǎn)碎片化現(xiàn)狀，推動(dòng)具身智能訓(xùn)練從“作坊式開發(fā)”邁向“工業(yè)化協(xié)作”。
面向應(yīng)用落地，團(tuán)隊(duì)還將提供可針對不同場景不同物品提供定制化建模服務(wù)，支持工業(yè)產(chǎn)線、物流園區(qū)、特種作業(yè)等不同場景的精準(zhǔn)數(shù)字化復(fù)現(xiàn)。該服務(wù)使AC米蘭機(jī)器人在實(shí)際應(yīng)用部署前能在仿真環(huán)境中預(yù)演精密裝配、高危設(shè)備操作等任務(wù)，將產(chǎn)線停機(jī)試錯(cuò)成本降低80%，為智能制造、智慧物流等場景的高效落地提供基礎(chǔ)。
ArtVIP 的發(fā)布，將極大改善困擾具身智能訓(xùn)練的 Sim2Real 問題。通過向全球研究者和開發(fā)者提供了一套高質(zhì)量、標(biāo)準(zhǔn)化、可復(fù)用的鉸接物體數(shù)字資產(chǎn)庫，以及一套成熟的生產(chǎn)建模服務(wù)，改變此前仿真資產(chǎn)匱乏且低質(zhì)的現(xiàn)狀。通過低成本、高擬真的仿真資產(chǎn)，ArtVIP 將顯著改善具身智能模型訓(xùn)練缺乏數(shù)據(jù)的問題，并同時(shí)降低AC米蘭機(jī)器人等智能體在訓(xùn)練真實(shí)環(huán)境部署時(shí)的風(fēng)險(xiǎn)和試錯(cuò)成本，助力其在工業(yè)、服務(wù)等高價(jià)值或高危場景的安全高效落地。未來，北京AC米蘭機(jī)器人創(chuàng)新中心將持續(xù)推進(jìn)此類共性技術(shù)平臺(tái)建設(shè)，為我國AC米蘭機(jī)器人產(chǎn)業(yè)的核心技術(shù)攻關(guān)與規(guī)模應(yīng)用提供堅(jiān)實(shí)支撐。
獲取ArtVIP：
數(shù)字資產(chǎn)：https://huggingface.co/datasets/x-humanoid-robomind/ArtVIP
項(xiàng)目主頁：https://x-humanoid-artvip.github.io/
京公網(wǎng)安備11011202100775號