今日，有新聞報道稱：加州大學(xué)伯克利分校的研究團(tuán)隊打造了一個兩條腿的機(jī)器人Cassie，通過AI的催動強(qiáng)化學(xué)習(xí)后它自己竟然學(xué)會了走路，并不是通過直接編程和模仿來學(xué)習(xí)的，它是通過AI學(xué)習(xí)框架讓機(jī)器人Cassie以試錯的方式進(jìn)行自主學(xué)習(xí)走路。這種試錯的訓(xùn)練方式如同嬰兒學(xué)走路一般，主動的適應(yīng)環(huán)境，逐漸執(zhí)行穩(wěn)定，敏捷以及多樣化的走路動作。除此之外，機(jī)器人還會不斷學(xué)習(xí)跑步，跳躍等動作，敏捷度也會通過自動調(diào)速功能逐漸實現(xiàn)。

未來，基于AI強(qiáng)化學(xué)習(xí)這一技術(shù)，運(yùn)動機(jī)器人也將更為敏捷。

一、AI模擬訓(xùn)練學(xué)走路，無需嬰兒般跌倒重來

雙足機(jī)器人Cassie類似我們的腿部外形，因此相比其他形狀的機(jī)器人更容易進(jìn)入為人類設(shè)計的城市環(huán)境之中。

為幫助Cassie像人類一樣學(xué)會自主行走，研究團(tuán)隊將這個過程想象為如嬰兒學(xué)走路一般。嬰兒雖然不會直接學(xué)會站立行走，但他們能通過一次次的站立、跌倒、邁步中記住步行的步驟，最終學(xué)會直立行走。

Cassie學(xué)走路也是如此。但為防止機(jī)器人在學(xué)習(xí)過程中跌倒損壞實際硬件，研究團(tuán)隊利用模擬到真實的傳輸技術(shù)，在模擬環(huán)境中訓(xùn)練，在高保真度的模擬器中進(jìn)行評估，最終部署到Cassie機(jī)器人上。

在模擬中，機(jī)器人接受了描述直立行走等目標(biāo)的信息后，AI引擎可以幫助其記住步行步驟，以此為基礎(chǔ)添加更多信息，最終學(xué)會直立行走。此外，它還可以學(xué)會如何在輕微滑倒時防止摔倒，或從側(cè)面被推倒時如何恢復(fù)。

一旦機(jī)器人在模擬中學(xué)會走路，研究人員便將此知識移植給Cassie，進(jìn)行實際操作。后續(xù)實踐中，研究人員計劃繼續(xù)在機(jī)器人中進(jìn)行強(qiáng)化學(xué)習(xí)，看看它能走多遠(yuǎn)。

二、步態(tài)庫中強(qiáng)化學(xué)習(xí)，讓步伐更靈活穩(wěn)健

研究團(tuán)隊基于強(qiáng)化學(xué)習(xí)( Reinforcement Learning;RL)方法，希望讓Cassie通過系統(tǒng)學(xué)習(xí)法學(xué)會更敏捷的行走。強(qiáng)化學(xué)習(xí)又稱增強(qiáng)學(xué)習(xí)、評價學(xué)習(xí)，是智能體以“試錯”的方式進(jìn)行學(xué)習(xí)，在環(huán)境交互中達(dá)成特定目的。

在此之前，研究者往往通過機(jī)械建模控制雙足機(jī)器人行走，然而這種方式難以對復(fù)雜地面進(jìn)行建模，機(jī)器人缺乏適應(yīng)環(huán)境變化的能力和運(yùn)動穩(wěn)定性。基于強(qiáng)化學(xué)習(xí)的步行控制器，RL方法訓(xùn)練策略可以讓機(jī)器人模擬步態(tài)庫中的步態(tài)，通過隨機(jī)訓(xùn)練增加其行為的多樣性。這種多樣性的增加，能夠讓Cassie應(yīng)對以往無法建模的地面摩擦變化等環(huán)境因素，在隨機(jī)環(huán)境下保持靈活穩(wěn)健性。

三、AI追蹤行走環(huán)境，步行速度、高度自動調(diào)

基于RL方法，研究人員建立了一種自適應(yīng)調(diào)速步行控制器。這種控制器能夠通過AI追蹤C(jī)assie的步行環(huán)境，并給其適當(dāng)?shù)男凶卟呗浴assie在不同場景下的行走策略，在實驗中，Cassie能夠執(zhí)行各種敏捷行為，如快進(jìn)和后退行走、側(cè)身行走、改變行走高度，還能夠在偏航時進(jìn)行轉(zhuǎn)身操作。

此外，Cassie還能夠從路障等外界隨機(jī)擾動中恢復(fù)。AI強(qiáng)化學(xué)習(xí)助機(jī)器人運(yùn)動更敏捷，基于步態(tài)庫的參考運(yùn)動，AI強(qiáng)化學(xué)習(xí)可以幫助兩足機(jī)器人學(xué)習(xí)步行、轉(zhuǎn)彎、下蹲等運(yùn)動狀態(tài)，跟蹤其行走環(huán)境以達(dá)到自動調(diào)速、轉(zhuǎn)彎等功能，讓機(jī)器人在運(yùn)動中更好的達(dá)到靈活性和穩(wěn)健性。

以上我們分享了AI機(jī)器人自己學(xué)習(xí)走路的全過程，未來AI強(qiáng)化學(xué)習(xí)還將在此基礎(chǔ)上，助力兩足機(jī)器人及其他機(jī)器人學(xué)習(xí)更多動態(tài)，敏捷的行為，如果您想了解更多相關(guān)信息，請您繼續(xù)關(guān)注中培偉業(yè)。