• 我院鄒月嫻教授課題組在人-物交互(HOI)檢測方面取得研究進展

    2020-05-27 18:34:47

        近日,我院鄒月嫻教授課題組一篇題為“GID-Net: Detecting Human-Object Interaction with Global and Instance Dependency”的學術論文被人工智能期刊Neurocomputing接收(JCR Q2,IF=4.072)亚博电子游戏官网。

        人-物交互(Human-Object Interaction, HOI)檢測是計算機視覺理解領域中一項重要的研究內容亚博电子游戏官网,其目標是檢測視覺場景中人與物體之間存在的具有語義的交互行為。相比傳統的動作檢測亚博电子游戏官网、識別任務,HOI 檢測任務需要在復雜的多人、多物體視覺場景中檢測出每一對<人、物>二元組之間可能存在的多種不同的交互行為。

        針對卷積神經網絡局部性操作對 HOI 表征能力弱的問題亚博电子游戏官网,該論文提出了基于非局部建模的 HOI 表征方法,通過提高網絡模型對非局部特征的學習能力進而提升模型對 HOI 的表征能力。



    圖:全局依賴與實例級依賴示意圖

        根據人-物交互檢測任務的特性,文章將非局部建模分為全局(Global Level)和實例級(Instance Level)兩個階段。在這兩個過程中,不同位置的特征像素將參與建模計算亚博电子游戏官网亚博电子游戏官网。由于整個場景為算法學習人-物交互行為提供了基本的上下文信息亚博电子游戏官网,因此文章首先構建全局依賴(Global Dependency)單元。在此基礎上,進一步構建實例級依賴(Instance Dependency)單元亚博电子游戏官网。

    圖:GID-Net示意圖

        通過以上設計,文章可以在不同的非局部建模階段關注具有不同感受野的語義信息亚博电子游戏官网,同時來自卷積網絡不同層的特征參與了建模計算。具體來說,全局依賴單元計算了全局語義信息相互間的依賴關系,實例級依賴單元計算了實例語義信息對于全局語義信息的依賴關系。通過兩個單元,文章捕捉了人-物交互行為在全局和實例級的非局部依賴特征。文章提出的模型在V-COCO和HICO-DET數據集上取得了先進的測試成績。

        Neurocomputing是中科院JCR期刊分區二區期刊,Impact Factor為4.072。視頻小組內楊東明博士生為該論文的第一作者,鄒月嫻教授為通訊作者亚博电子游戏官网。

    供稿:信息工程學院鄒月嫻課題組

    亚博电子游戏官网