從純粹的物理系統到複雜的社會動態系統，多主體互動系統在世界上非常普遍。實體/元件之間的互動會在個人和整個多代理系統的層面上引發非常複雜的行為模式。由於通常只觀察單個實體的軌跡，而對底層的互動模式一無所知，並且對於每個具有不確定性的主體，通常存在多種可能的模態，因此對它們的動力學建模和預測其未來行為具有挑戰性。
圖1。典型的多主體互動系統
在許多實際應用中（例如自動駕駛汽車，移動機器人），對情況的有效理解以及對互動式代理的準確軌跡預測在下游任務（例如決策和計劃）中起著重要作用。我們引入了一個通用的軌跡預測框架（名為EvolveGraph），該框架具有透過多個異構互動主體之間的潛在互動圖進行顯式關係結構識別和預測的功能。考慮到未來行為的不確定性，該模型旨在提供多模式預測假設。由於即使隨著時間的突然變化，潛在的互動作用也可能發生演變，並且不同的演化方式可能導致不同的結果，因此，我們解決了動態關係推理的必要性並自適應地演化了互動作用圖。
多智慧體行為預測的挑戰
圖2。典型的城市交叉路口場景示意圖
我們以具有多個互動交通參與者的城市交叉路口場景為例，詳細闡述了多主體行為預測任務的主要挑戰。
首先，可能存在具有不同行為模式的異構代理，因此使用同構動力學/行為模型可能不夠。例如，車輛和行人有不同的約束條件和交通規則。更具體地說，車輛的軌跡受到道路幾何形狀和它們自己的運動學模型的嚴格限制。而行人的行為則更加靈活。
其次，在多主體系統中可能存在各種型別的互動模式。例如，同一場景中的車輛間互動，行人間互動和車輛-行人互動呈現出非常不同的模式。
第三，隨著情況的變化，互動模式可能會隨著時間而發展。例如，當車輛直行時，只需要考慮領先車輛的行為即可；然而，當車輛計劃改變車道時，也需要考慮目標車道中的車輛，這導致互動模式的改變。
最後但並非最不重要的一點是，每個代理商的未來行為可能存在不確定性和多種模式，這會導致各種結果。例如，在十字路口，車輛可以直行或轉彎。
在這項工作中，我們向前邁了一步，以應對這些挑戰，併為多智慧體系統提供了具有動態關係推理的軌跡預測通用框架。更具體地說，我們解決了以下問題
提取具有潛在圖結構的基礎互動模式，該潛在圖結構能夠以統一的方式處理不同型別的代理，
捕獲互動圖演化的動力學以進行動態關係推理，
根據歷史觀察和潛在的互動圖預測未來的軌跡（狀態序列），以及
捕獲未來系統行為的不確定性和多模式性。
觀察圖和互動圖
圖3。觀察圖和互動圖的示意圖
多主體互動系統自然地由圖表示，其中將主體視為節點，並將其關係視為邊緣。我們有兩種不同用途的圖形，下面介紹：
觀察圖：觀察圖旨在從原始觀察中提取特徵嵌入，該原始嵌入由N個代理節點和一個上下文節點組成。代理節點相互雙向連線，並且上下文節點僅具有每個代理節點的傳出邊緣。每個代理節點具有兩種型別的屬性：自我屬性和社交屬性。前者僅包含節點自身的狀態資訊，而後者僅包含其他節點的狀態資訊。
互動圖：我們使用不同的邊緣型別來表示不同的互動模式。一對節點之間沒有邊緣意味著兩個節點沒有關係。互動圖表示具有每個邊緣的邊緣型別分佈的互動模式，該互動模式建立在觀察圖的頂部。
圖4。 EvolveGraph的高階圖形化顯示
動態互動圖學習
在許多情況下，從過去的時間步長識別出的互動模式將來可能不會一成不變。而且，許多互動系統本質上具有多模式特性。之後，不同的方式可能會導致不同的互動方式和結果。因此，我們設計了互動模式的動態演化過程。
如圖4所示，每τ（重新編碼間隔）時間步長重複編碼過程，以根據最新的觀察圖獲得潛在的互動作用圖。迴圈單元（GRU）用於維護和傳播歷史資訊，以及調整先前的互動圖。更多細節可以在我們的論文中找到。
不確定性和多模態
在這裡，我們強調鼓勵多樣化和多模式軌跡預測和生成的努力。在我們的框架中，不確定性和多模式主要來自三個方面：
首先，在解碼過程中，我們輸出高斯混合分佈，表明下一步有幾種可能的模態。我們僅根據表示每個模態機率的分量權重在每個步驟中對單個高斯分量進行取樣。
其次，不同的取樣軌跡將導致不同的互動圖演化。互動圖的演變有助於未來行為的多種形式，因為不同的基礎關係結構對系統行為實施了不同的規定並導致各種結果。
第三，然而，直接訓練這樣的模型趨向於崩潰為單一模式。因此，我們採用了一種有效的機制來緩解模式崩潰問題並鼓勵多模式。在訓練過程中，我們運行了d次解碼過程，d特定場景下每個特工的軌跡。我們僅選擇反向傳播損失最小的預測假設，該假設最有可能與基本事實處於相同模式。其他預測假設的損失可能更高，但這並不一定意味著它們是不可信的。它們可能代表其他潛在的合理方式。
實驗
我們重點介紹了有關合成物理系統和城市駕駛場景的兩個案例研究的結果。在我們的論文中可以找到更多關於行人和體育運動員的實驗細節和案例研究。
案例研究1：粒子物理系統
我們嘗試了一種模擬的具有變化關係的粒子系統。最初將多個粒子連結在一起並一起移動。只要滿足粒子狀態的特定條件，連結就會消失，並且粒子此後獨立移動。該模型有望自己學習準則，並執行邊緣型別預測和軌跡預測。由於系統本質上是確定性的，因此在此任務中我們不考慮多模式。
我們基於對20個時間步長的觀察，預測了未來50個時間步長的粒子狀態。我們在此任務中設定了兩種邊緣型別，分別對應於“有連結”和“無連結”。邊緣型別預測的結果總結在表1中，這些結果在3個獨立執行中得到平均。“無變化”表示基礎互動結構在整個範圍內保持不變，而“變化”表示互動模式的更改有時會發生。它表明，有監督的學習基線可以直接訓練帶有地面真相標籤的編碼功能，在兩種設定中均表現最佳，並可以作為“黃金標準”。在“無更改”設定下，NRI（動態）與EvolveGraph（RNN重新編碼）相當，而EvolveGraph（靜態）可達到最佳效能。原因是互動圖的動態演變導致更高的靈活性，但可能導致更大的不確定性，從而影響具有靜態關係結構的系統中的邊緣預測。在“更改”設定下，NRI（動態）會在測試階段的每個時間步重新評估潛圖，但是很難捕獲連續圖之間的依賴關係，並且編碼功能可能不夠靈活，無法捕獲潛在的圖。演化。EvolveGraph（RNN重新編碼）的效能更好，因為它考慮了訓練階段中連續步驟的依賴性，但是它仍然僅在特徵級別而不是圖形級別捕獲演變。
圖5。潛在相互作用圖演化和粒子軌跡的視覺化
（a）前兩個數字顯示了每個時間步長上第一邊緣型別（“帶有連結”）的機率。每行對應一個特定的邊（如右圖所示）。圖演化的實際時間分別為54和62。該模型能夠捕獲關係變化的基本標準，並幾乎沒有延遲地進一步預測邊緣型別的變化。（b）最後一行中的數字顯示了軌跡預測結果，其中半透明點是歷史觀察結果。
案例研究2：交通場景
圖6。流量場景中測試案例的視覺化
虛線是歷史軌跡，實線是地面真相，而虛線是預測假設。白色區域代表可駕駛區域，灰色區域代表人行道。我們繪製了具有最小平均預測誤差的預測假設，並繪製了熱圖來表示分佈。
圖6提供了一些測試用例的視覺化。
我們的框架可以生成準確而合理的軌跡。更具體地說，在左上角的情況下，對於左下角的藍色預測假設，在第五個預測步驟會出現突變。這是因為互動圖在此步驟中演化了。此外，在熱圖中，從這一點開始有多種可能的軌跡，它們代表著多種潛在的形態。這些結果表明，不斷髮展的互動作用圖可以增強我們模型的多模態性質，因為先前步驟中的軌跡樣本不同會導致圖演化的方向不同，從而極大地影響了以後的預測。在右上方的情況下，每輛車均可在任何出口離開回旋處。我們的模型可以成功顯示退出迴旋處並停留在其中的方式。此外，如果退出迴旋處，則預測汽車將在其右側退出，這意味著我們的模型預測的模式是合理且合理的。