人形機器人研究進展與發(fā)展挑戰(zhàn)

導讀：2023國家機器人發(fā)展論壇（CAA菁英系列活動）于2023年6月17-18日在廣東深圳召開，壇以“集群促發(fā)展，創(chuàng)新向未來”為主題，聚焦智能機器人產(chǎn)業(yè)，邀請多位行業(yè)領軍人物同臺，助力打造世界級先進制造業(yè)集群。會上，中國自動化學會會士、理事、浙江大學熊蓉教授，作題為“人形機器人研究進展與發(fā)展挑戰(zhàn)”的大會報告，重點介紹了人形機器人的研究背景與意義、研究歷史與進程的基礎上其團隊在人形機器人系統(tǒng)研制、運動控制、智能移動等方面開展的工作和進展等內(nèi)容。

人形機器人，也被稱為仿人機器人，是一類具有人類外形、模仿人類功能和智能的機器人。與其他機器人相比，它的區(qū)別在于擁有人類外形，包括雙足、雙臂和頭部。這種外形使得人形機器人在人類的工作和生活環(huán)境中具有更強的通用性和適應性。它能夠適應人類環(huán)境的不連續(xù)性，像人類一樣使用自己創(chuàng)造的工具，從而能夠?qū)崿F(xiàn)人與機器人的無縫銜接和替換。此外，人形機器人的人類外形也更容易被人們接受，在人機交互過程中起到重要的作用。

一、研究背景與意義

人形機器人領域是機器人領域中一個重要的技術挑戰(zhàn)點，甚至被稱為國與國之間技術競爭的制高點。首先，它涉及到機器人的各個方面的關鍵技術以及這些技術的集成和融合。從系統(tǒng)角度看，人形機器人是一個高自由度的復雜系統(tǒng)。其制造、設計、建模和規(guī)劃都涉及到許多問題，如驅(qū)動和傳動的實現(xiàn)、感知與決策的融合，以及軟硬件的有效融合等。

從運動的角度看，人形機器人是以腳為支撐點與地面進行間斷性接觸的。它的腳與地面接觸的空間很小，時間也很短，這導致了穩(wěn)定控制的時空域非常有限。同時，人形機器人面臨建模的不準確性、地面的不平整性以及作業(yè)過程中各種位置干擾等問題，如圖1所示，由于其本質(zhì)上不穩(wěn)定，從而在應用中面臨著許多困難。上世紀60年代到本世紀2015年，學術界主要關注的問題都是圍繞如何設計制造具有穩(wěn)定運動能力的人形機器人展開研究。

圖1 人形機器人的技術難點

隨著這些關鍵技術的逐步解決，我們目前的焦點已經(jīng)擴展至如何將人形機器人應用于多樣化的場景中。這與其他機器人技術的發(fā)展趨勢相似，機器人需要應對各種不同的環(huán)境，并能夠適應各種特定需求，另外，還需要具備通用性，能夠在這種形態(tài)下執(zhí)行各種任務。

總的來說，人形機器人給機器人技術的各個方面都帶來了挑戰(zhàn)，并推動了相關零部件和技術的發(fā)展。從電機、傳動到液壓器件，它對機器人領域和產(chǎn)業(yè)的發(fā)展起到了積極的推動和支持作用。

二、研究歷史與進程

下面簡要介紹一下整個人形機器人的發(fā)展歷程，其發(fā)展歷史如圖2所示。第一臺人形機器人誕生于1969年，由日本早稻田大學研制，它采用液壓驅(qū)動，驅(qū)動部件龐大且重量較大，并且都放置在機器人的外部，采用的是靜態(tài)行走方式，每步行走距離為15厘米，需要約40秒的時間。隨后，許多研究機構開始進行人形機器人的研究。在80年代，出現(xiàn)了兩個對當前發(fā)展起到了重要基礎作用的團隊。其中一家是本田公司，于1986年開始研究人形機器人，注重系統(tǒng)設計和動態(tài)運動方面的研究。2000年，本田公司的研究取得了重要突破，推出了ASIMO人形機器人。ASIMO能夠以每小時1.6公里的速度行走，其研發(fā)過程中采用了直流電機和諧波減速器等關鍵技術，這對相關產(chǎn)業(yè)的發(fā)展起到了重要推動作用。另一個重要的團隊是來自麻省理工學院（MIT）的Marc Raibert在1986年提出的動態(tài)行走理論。這一理論的提出為后來波士頓動力公司的成立以及其研發(fā)的四足和雙足機器人打下了堅實的基礎。這一階段可以稱為基礎理論與系統(tǒng)形成的階段。

圖2 人形機器人的研究歷史

2000年之后，人形機器人的研究取得了更多的進展。例如，ASIMO等研究機構不斷優(yōu)化和改進機器人的行走速度，并引入了人機運動映射技術，使機器人能夠執(zhí)行更復雜的動作。同時，研究人員進一步結合智能技術，使機器人具備與人類進行交互的能力，例如為人端茶遞物。自2009年起，波士頓動力公司開始致力于滿足美軍的需求，并在福島核電站事故后開始研究高動態(tài)運動的人形機器人，以便執(zhí)行特種任務。這一階段研究領域形成了不同的技術流派，包括多種不同的平衡控制技術以及不同的驅(qū)動技術。這些技術的發(fā)展使得人形機器人的技術變得多樣化且具有廣泛的應用前景。在2022年特斯拉所發(fā)布的人形機器人，馬斯克關于人形機器人方面的一系列的規(guī)劃、布局，引起了世界的廣泛關注。

從上個世紀90年代開始，國防科技大學、北京理工大學以及其他高校、研究機構和企業(yè)也都積極投身于人形機器人領域的研究。浙江大學自2006年起著手研究人形機器人，并以踢足球的小型仿人機器人作為起點，積累相關技術，并成功將智能感知、定位、導航規(guī)劃等能力融入其中。

2008年至2011年期間，我們在國家“863”重點課題的支持下成功研制了一款能夠與人或其他機器人進行兵乓球?qū)Υ虻姆氯藱C器人，如圖3所示。這款機器人具有成人大小，身高1.65米，重量56公斤。該項目的突破之處在于設計了輕量化的機械結構，并實現(xiàn)了30個自由度的高實時控制。針對乒乓球這種高速運動的飛行物體，浙大團隊解決了在線準確識別定位和軌跡預測的問題，同時還實現(xiàn)了實時運動規(guī)劃和全身平衡控制，以應對手臂大加速度帶來的不穩(wěn)定性。該成果在發(fā)布后引起了國內(nèi)外廣泛關注，包括國外知名媒體對其進行了報道和拍攝。此外，該成果還被收錄進美國基金委向奧巴馬政府提交的工作報告中，進一步彰顯了其重要性和影響力。

圖3 浙江大學人形機器人研究

但是機器人打球的過程中，主要依靠下肢來進行平衡控制。由于行走速度僅達到1.2公里/小時，無法跟上快速打球的節(jié)奏。因此，從2012年開始，我們的研究重點轉向如何提高機器人的行走速度，并使其能夠在室內(nèi)外不平整的地面以及各種未知擾動下行走。同時，還著重考慮了上肢運動的結合，為機器人的發(fā)展奠定了基礎。

過去的10年時間里，浙大團隊進行了大量的研究工作，包括驅(qū)動系統(tǒng)、傳動系統(tǒng)、機構設計、控制方法以及運動學習和生成等方面。目前，機器人已經(jīng)實現(xiàn)了6.6公里/小時的行走速度，可以在室內(nèi)外不平整的地面上自主適應和適應大的外力擾動，能夠上下15度的斜坡，并可以跳下20厘米高的臺階。

三、關鍵技術與進展

在人形機器人的技術發(fā)展中，我們按照系統(tǒng)集成、運動和未來作業(yè)需求的角度進行了劃分，分別稱為體能、技能和智能。在體能方面，我們探索了不同的技術路線，如圖4所示。一種方法是采用直流電機+諧波減速器+彈性單元的組合，以實現(xiàn)高效的彈跳能力。然而，這種彈性元件的變化也帶來了許多挑戰(zhàn)。因此，在2015年之后，浙大團隊開始采用四足機器人中常用的大間隙半徑電機，通過力位的伺服控制來驅(qū)動機器人。

圖4 關節(jié)運動方式

在人形機器人的技能方面，我們重點關注它的穩(wěn)定平衡運動能力，并進行了相關的研究工作。目前，主要有兩種方法：一種是傳統(tǒng)的基于模型的方法，通過建立機器人的運動學和動力學模型，進行擺動腿的軌跡規(guī)劃，進而開展平衡控制。除了傳統(tǒng)的方法，另一種是采用學習的方法，如模仿學習和生成學習，來生成機器人的運動和控制策略。

穩(wěn)定平衡控制是其中最核心的問題，在整個發(fā)展過程中涌現(xiàn)出多種方法，如圖5所示，并都發(fā)揮了重要作用。其中，ASIMO采用了ZMP判據(jù)的控制方法，密歇根大學等采用混雜零動態(tài)規(guī)劃方法實現(xiàn)機器人狀態(tài)在穩(wěn)定平面上的控制， Marc Raibert等人提出了虛擬模型的解耦控制方法。這些方法各有優(yōu)缺點，前兩者依賴于精確的動力學模型。

圖5 基于模型的穩(wěn)定平衡控制

通過研究，我們發(fā)現(xiàn)虛擬模型控制方法在降低對精確模型依賴性方面取得了進展。然而，在復雜環(huán)境下，虛擬模型控制的容錯性存在限制。因此，我們進行了相關研究，并借鑒人類保持平衡時的行為策略。與傳統(tǒng)方法不同，人類在受到擾動時采用踮腳的方式來保持穩(wěn)定，從而縮小了穩(wěn)定域的范圍。我們在理論上證明，只需保持在穩(wěn)定域邊界上即可實現(xiàn)穩(wěn)定性，而不需要較大的穩(wěn)定域和支撐域。進一步，基于虛擬模型的思想，我們提出了一種通過足部傾斜主動控制來增加穩(wěn)定域的方法，如圖6所示。在人形機器人上成功實現(xiàn)了該方法，并發(fā)表了高水平的論文。然而，人形機器人在多個虛擬模型的結合和協(xié)調(diào)方面存在一定限制，以及在不同場景下設計不同虛擬模型的通用性的挑戰(zhàn)。

圖6 虛擬模型下主動欠驅(qū)動平衡控制

所以，采用模型預測控制和全身控制的方法可以提高人形機器人的動作穩(wěn)定性和協(xié)調(diào)性，如圖7所示。這種方法基于軌跡規(guī)劃和剛體動力學建模，通過模型預測控制計算地面反作用力和力矩，并結合全身控制生成關節(jié)力矩。通過該集成控制策略，我們能夠更準確地預測和調(diào)整機器人的運動，使其能夠在復雜環(huán)境中實現(xiàn)穩(wěn)定的運動和協(xié)調(diào)的動作。在仿真環(huán)境中已經(jīng)實現(xiàn)了一些復雜動作，如跳躍和后空翻，但仍需要進一步提升關節(jié)力矩以實現(xiàn)更高水平的執(zhí)行能力。我們將繼續(xù)努力改進和優(yōu)化控制方法，以進一步提升人形機器人的運動能力和執(zhí)行復雜動作的能力。

圖7 全身協(xié)調(diào)模型預測控制

此外我們有兩項工作對研究機器人控制方法起到了關鍵作用。首先，我們致力于在線辨識動力學參數(shù)，以確保準確建立模型，適應機器人在運動過程中構型和動力學參數(shù)發(fā)生變化等復雜情況。引入隨機變量后驗概率估計的方法后，通過定義隨機變量的向量空間以及相關的數(shù)據(jù)結構和投影運算，可以實現(xiàn)一種級連式的估計方法。對于每個關節(jié)模塊，可以建立運動模型和等效辨識模型，并進行迭代運行。在單腿和雙腿的情況下，包括腿部質(zhì)量變化和外部負載變化等擾動，該方法的具有較好的有效性。

然而，僅僅依靠模型預測控制可能無法有效應對大擾動，因此，在2009年浙大團隊提出了一種方法，如圖8所示，通過建立速度與著地點之間的關系，將擾動轉化為速度變化，并根據(jù)這些速度確定適當?shù)闹攸c。將這一方法與之前的控制方法相結合，可以實現(xiàn)了在面對大幅擾動時的穩(wěn)定平衡控制。

圖8 基于速度感知的動態(tài)落腳點規(guī)劃

近年來，深度學習和強化學習的發(fā)展為人形機器人的平衡控制提供了新的方法，如圖9所示。在國內(nèi)外的研究中，人們致力于利用強化學習來實現(xiàn)人形機器人的平衡控制。例如，在四足機器人領域，蘇黎世理工學院等機構開展了大量研究工作。在人形機器人領域，美國的Oregon州立大學等研究機構也進行了各種研究，包括提高機器人在不同地面上運動的魯棒性，如轉彎、上下臺階以及走梅花樁等動作。此外，研究人員還關注如何根據(jù)感知信息提升運動的準確性，并使機器人能夠適應復雜的環(huán)境變化。這些研究都為人形機器人的平衡控制領域做出了重要貢獻。

圖9 采用學習的穩(wěn)定平衡控制

浙大團隊之前研究了四足機器人步態(tài)學習，采用強化學習方法進行步態(tài)生成，并提出了一種步態(tài)生成網(wǎng)絡，以整合各種步態(tài)，可根據(jù)機器人當前的狀態(tài)選擇適宜的步態(tài)。這一網(wǎng)絡使機器人能夠在面對未知環(huán)境時做出合適的步態(tài)選擇，并通過綜合多種步態(tài)以適應環(huán)境變化，從而在新環(huán)境中展示出靈活的行動能力。該研究為機器人應對各種挑戰(zhàn)并在新環(huán)境中表現(xiàn)出優(yōu)異的適應性提供了有益的探索和成果。

然而，在應用純強化學習方法于人形機器人時，由于人形機器人具有相對較小的穩(wěn)定時空域，這導致獲得穩(wěn)定案例和進行迭代學習的速度較慢。因此，我們提出了將模型方法與學習方法相結合的策略，如圖10所示。通過采用啟發(fā)式模型來規(guī)劃擺動腿的運動，該模型對支撐腿的參數(shù)高度依賴，而對于參數(shù)依賴較強的情況，可以采用學習方法。通過串并聯(lián)混合的方法，加速了學習過程，并提高了對質(zhì)量、擾動和噪聲等因素的魯棒性。然而，人形機器人仍然容易受到地面不平整等因素的影響。為此，需要引入了隱藏空間的學習，采用教師-學生模型，通過從一些優(yōu)秀模型中學習隱藏空間的映射關系，可以進一步提升機器人穩(wěn)定性。目前，浙大人形機器人已成功實現(xiàn)了在15-18厘米地形起伏的不同環(huán)境下穩(wěn)定行走，并達到了3公里/小時的速度。

圖10 模型-學習混合的雙足步行運動生成

此外，在運動學習和強化學習生成方面，浙大團隊也做出了一定的貢獻。通過圖神經(jīng)網(wǎng)絡構建學習模型，并結合最優(yōu)化搜索，在編碼后的隱藏空間中尋找最佳匹配，之后進行最優(yōu)化搜索，以實現(xiàn)對大型動作序列的快速學習，如圖11所所示。結果顯示，學習時間提升了10-100倍，同時動作相似性評估也有了顯著提升。

圖11 隱空間優(yōu)化的映射學習

此外，我們擴展了研究范圍，將其應用于不同的結構中。對于包括動畫角色在內(nèi)的多樣化動作，可以解決其在拓撲結構上的差異性。在與此相關的數(shù)字虛擬人研究中驗證，能夠成功地遷移至未曾接觸過的拓撲結構，并在已有結構上實現(xiàn)更優(yōu)秀的接觸和穿模。進一步地，我們開始將動力學約束融入研究中，并在仿真環(huán)境中成功地將之前學習到的知識應用于新的結構中。

最后，我們還開展了智能移動和智能操作方面的研究。自2003年以來，浙大一直在這個領域進行研究，并在各種機器人應用中進行了驗證，包括工業(yè)機器人、無人駕駛車輛以及特殊環(huán)境。結合腿足機器人，團隊還專注于以下方面的進一步研究：首先如何構建大范圍全局一致的稠密高程地圖，如圖12所示；其次，為解決足式運動引起的震蕩問題、足式運動所帶來的計算資源限制，以及在特殊環(huán)境中紋理稀缺或傳感器失效的情況下如何選擇適合的傳感器和傳感器融合問題；以及如何規(guī)劃落腳點。

圖12 大范圍全局一致稠密高程地圖構建

在操作方面，聚焦于感知、力位控制、序列生成和語義動作生成等方面的研究，并探索如何將這些工作應用于人形機器人?？傮w而言，我們的下一步研究旨在實現(xiàn)智能操作和移動與人形機器人運動的綜合。

四、進展機遇與挑戰(zhàn)

在當前的背景下，我國也在積極探索人形機器人技術與產(chǎn)業(yè)化的發(fā)展。除了浙江大學，還有許多研究機構致力于人形機器人的研究，整體技術積累十分豐富，但仍有一些技術需要突破。與國際水平相比，在集成方面存在一定差距。具體需要突破的技術包括零部件方面，如關節(jié)的高力矩能力和靈巧手；智能感知、協(xié)同作業(yè)以及系統(tǒng)安全，包括機器人自身安全、交互安全和信息安全等方面；另外還有軟硬件集成方面的挑戰(zhàn)，需要實現(xiàn)高度融合、輕量化、穩(wěn)定性和可靠性。這些都是需要進一步攻克的技術難題。

從產(chǎn)業(yè)鏈的角度來看，多年來機器人和汽車產(chǎn)業(yè)鏈為人形機器人的發(fā)展提供了基礎。然而，與其他產(chǎn)業(yè)鏈相比，人形機器人的產(chǎn)業(yè)鏈更為復雜和長鏈條。如何實現(xiàn)在眾多技術領域的緊密結合，并形成產(chǎn)學研用的協(xié)同機制，是一個重要的問題。

在人形機器人的研發(fā)方面，國外已經(jīng)在控制器、仿真軟件開發(fā)平臺、大型訓練平臺和數(shù)據(jù)集等方面做了大量工作，形成了相對完善的生態(tài)體系。然而，我們在這方面的大部分研究仍然依賴國外平臺，因此迫切需要建立自己的工具鏈和生態(tài)體系。

在人形機器人的產(chǎn)業(yè)化過程中，供應鏈管理和低成本制造是重要的考慮因素。然而，與此同時，如何確保人形機器人具備高性能，并應對其作為新型復雜系統(tǒng)所帶來的制造工藝等挑戰(zhàn)也是需要解決的問題。

自2000年開始機器人研究，并于2006年開始專注于人形機器人研究以來，浙大團隊經(jīng)歷了人形機器人領域的高潮和低谷。盡管遇到了挑戰(zhàn)，但我們?nèi)栽趫猿植恍傅赝苿游覈谌诵螜C器人技術和產(chǎn)業(yè)方面的發(fā)展。

作者簡介：熊蓉，中國自動化學會會士、浙江大學求是特聘教授、國家重點研發(fā)計劃智能機器人重點專項專家組成員、五一巾幗獎章獲得者。主持科技創(chuàng)新 2030新一代人工智能重大項目等，在腿足機器人魯棒平衡控制、移動機器人魯棒定位導航、操作機器人高精高效作業(yè)等方面取得重要突破。技術推廣應用于工業(yè)、特種、航天等領域，培育了電力巡檢機器人、智能物流機器人等新產(chǎn)品，獲浙江省科學技術獎一等獎、國家教學成果獎二等獎等。