網(wǎng)絡(luò)結(jié)構(gòu)圖：
02
請別來打擾我：在其他行人干擾下的行人重識別
Do Not Disturb Me：
Person Re-identification Under the Interference of Other Pedestrians
傳統(tǒng)的行人重識別假設(shè)裁剪的圖像只包含單人。然而，在擁擠的場景中，現(xiàn)成的檢測器可能會生成多人的邊界框，并且其中背景行人占很大比例，或者存在人體遮擋。從這些帶有行人干擾的圖像中提取的特征可能包含干擾信息，這將導(dǎo)致錯誤的檢索結(jié)果。為了解決這一問題，本文提出了一種新的深層網(wǎng)絡(luò)（PISNet）。PISNet首先利用Query圖片引導(dǎo)的注意力模塊來增強圖片中目標(biāo)的特征。此外，我們提出了反向注意模塊和多人分離損失函數(shù)促進了注意力模塊來抑制其他行人的干擾。我們的方法在兩個新的行人干擾數(shù)據(jù)集上進行了評估，結(jié)果表明，該方法與現(xiàn)有的Re-ID方法相比具有更好的性能。
03
通過分布蒸餾損失改善人臉識別中的困難樣本
Improving Face Recognition
from Hard Samples via Distribution Distillation Loss
目前基于深度學(xué)習(xí)的人臉識別算法已經(jīng)可以較好的處理簡單樣本，但對于困難樣本（低分辨率、大姿態(tài)等）仍表現(xiàn)不佳。目前主要有兩種方式嘗試解決這一問題。第一種方法是充分利用某種需要處理的人臉畸變的先驗信息，設(shè)計特定的結(jié)構(gòu)或損失函數(shù)。這種方式通常不能方便地遷移到其他畸變類型。第二種方法是通過設(shè)計合適的損失函數(shù)，減小類內(nèi)距離，增大類間距離，得到更具辨別能力的人臉特征。這種方式一般在簡單和困難樣本上存在明顯的性能差異。為了提升人臉識別模型在困難樣本上的性能，我們提出了一種基于分布蒸餾的損失函數(shù)。具體來說，我們首先通過一個預(yù)訓(xùn)練的識別模型構(gòu)造兩種相似度分布（從簡單樣本構(gòu)造的Teacher分布和從困難樣本的Student分布），然后通過分布蒸餾損失函數(shù)使Student分布靠近Teacher分布，從而減小Student分布中的同人樣本和非同人樣本的相似度重合區(qū)域，提高困難樣本的識別性能。我們在常用的大規(guī)模人臉測試集和多個包含不同畸變類型（人種、分辨率、姿態(tài)）的人臉測試集上進行了充分的實驗，驗證了方法的有效性。
04
基于對抗語義數(shù)據(jù)增強的人體姿態(tài)估計
Adversarial Semantic Data Augmentation
for Human Pose Estimation
人體姿態(tài)估計主要目的是定位人體的關(guān)鍵點坐標(biāo)。目前的SOTA方法在嚴(yán)重遮擋、旁人干擾、對稱相似三種困難場景中表現(xiàn)仍有待提升。一個主要的原因是這三種困難場景的訓(xùn)練數(shù)據(jù)較少。之前的方法主要是利用scale、rotation、translation等global spatial transform的方法去進行訓(xùn)練數(shù)據(jù)增強。這類常規(guī)的數(shù)據(jù)增強方法并不能對上述三種困難場景有提升和幫助。本文提出了一種Adversarial Semantic Data Augmentation（對抗語義數(shù)據(jù)增強方法）。該方法把人體分成多個有語義的部件，并對這些人體部件在不同的細粒度上進行重組，從而去模擬出上述三種困難場景。在重組人體部件的過程中，有多個空間變換參數(shù)來調(diào)節(jié)每一個人體部件，從而靈活的組合旁人遮擋、手臂交叉、復(fù)雜動作等情況。為了讓人體姿態(tài)估計網(wǎng)絡(luò)能更好的學(xué)習(xí)到對這些困難場景的魯棒性，我們設(shè)計了另外一個生成網(wǎng)絡(luò)（G）用于控制每個人體部件的空間變換參數(shù)，人體姿態(tài)估計網(wǎng)絡(luò)作為判別網(wǎng)絡(luò)（D）從G生成的困難樣本里面去學(xué)習(xí)。G和D在訓(xùn)練過程中互相對抗。G網(wǎng)絡(luò)不斷的生成各種困難樣本，以迷惑人體姿態(tài)估計網(wǎng)絡(luò)。而人體姿態(tài)估計網(wǎng)絡(luò)從這個對抗過程中也不斷提升了自己對困難場景的預(yù)測準(zhǔn)確性。
05
基于特征解耦的人臉活體檢測
Face Anti-Spoofing via
Disentangled Representation Learning
活體檢測技術(shù)用于在身份驗證場景中確定對象是否為真人，以防御照片、面具、屏幕翻拍等多種方式的攻擊，保證人臉識別安全。目前基于RGB圖像的活體檢測方法往往從圖片中直接提取判別性特征，但該特征可能包含了光照、背景或ID等與活體任務(wù)無關(guān)的信息，影響方法實際使用的泛化性。針對泛化性問題，本文從特征解耦角度出發(fā)，提出以下創(chuàng)新點：
1、設(shè)計解耦框架將圖片特征解耦成活體相關(guān)特征和活體無關(guān)特征兩部分，并利用活體相關(guān)特征進行真假判別。
2、結(jié)合底層紋理特征約束和高層深度特征約束，進一步促進活體特征的解耦。
3、探索并展示了影響活體特征的因素，例如攻擊介質(zhì)、采集設(shè)備等，進一步深入理解活體任務(wù)本質(zhì)。
本文在多個學(xué)術(shù)數(shù)據(jù)集上證明了基于輔助約束的特征解耦方法在活體任務(wù)上的有效性。
06
SSCGAN：基于風(fēng)格跳躍連接的人臉屬性編輯
SSCGAN:
Facial Attribute Editing via Style Skip Connections
現(xiàn)有的人臉屬性編輯方法通常采用編碼器-解碼器結(jié)構(gòu)，其中屬性信息被表達成一個one-hot向量然后與圖像或特征層拼接起來。然而，這樣的操作只學(xué)到了局部的語義映射而忽略了全局的人臉統(tǒng)計信息。我們在本文提出通過修改通道層面的全局信息(風(fēng)格特征)來解決這個問題。我們設(shè)計了一個基于風(fēng)格跳躍連接的生成對抗網(wǎng)絡(luò)(SSCGAN)來實現(xiàn)精準(zhǔn)的人臉屬性操縱。具體來說，我們在編碼器和解碼器之間的多個風(fēng)格跳躍連接路徑上注入目標(biāo)屬性信息。每個連接會抽取編碼器中的隱藏層的風(fēng)格特征,然后做一個基于殘差的映射函數(shù)來將這個風(fēng)格特征遷移到目標(biāo)屬性的空間。接下來，這個被調(diào)整過的風(fēng)格特征可以用作輸入來對解碼器的隱藏層特征做實例歸一化。此外，為了避免空間信息的損失(比如頭發(fā)紋理或瞳孔位置)，我們進一步引入了基于跳躍連接的空間信息傳遞模塊。通過對全局風(fēng)格和局部空間信息的操縱，本文提出的方法可以得到在屬性生成準(zhǔn)確率和圖像質(zhì)量上都更好的結(jié)果。實驗結(jié)果表明本文的算法和現(xiàn)有的所有方法相比都有優(yōu)越性。
07
基于時序性差異表征的動作識別
Temporal Distinct Representation Learning
for Action Recognition
2D卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像識別當(dāng)中并取得成功，研究人員現(xiàn)在在嘗試?yán)?D卷積神經(jīng)網(wǎng)絡(luò)來對視頻進行建模。然而利用2D卷積的局限性在于視頻的不同幀共享參數(shù)，會導(dǎo)致重復(fù)、冗余的信息提取，尤其是空間語義層面會忽略幀間的重要變化。在這篇工作中，我們嘗試通過兩種方式來解決這一問題：
一是設(shè)計了一種通道層面的序列化注意力機制PEM來逐步地激活特征中有區(qū)分性的通道，從而避免信息的重復(fù)提?。?/p>
二是設(shè)計了一種時序多樣性損失函數(shù)（TD Loss）來強制卷積核關(guān)注并捕捉幀間的變化而不是表觀相似的區(qū)域。
在時序性較強的數(shù)據(jù)集something-something V1和V2上，我們的方法取得了SOTA效果；另外在時序性較弱但規(guī)模較大的Kinetics數(shù)據(jù)集上，我們的方法也取得了可觀的精度提升。
結(jié)構(gòu)示意圖：
效果示意圖：
08
物體檢測中檢測框?qū)W習(xí)的深入優(yōu)化
Dive Deeper Into Box for Object Detection
無錨框檢測模型現(xiàn)已成為具有最高檢測水準(zhǔn)的最新方法，歸因于準(zhǔn)確的邊界框估計。然而無錨框檢測在邊界定位上還有不足，對于具有最高置信度的邊界框仍有很大的改進空間。在這項工作中，我們采用了一種邊界重排序的邊界框重組策略，使得在訓(xùn)練中能夠產(chǎn)生更優(yōu)的邊界框， 從而對物體有更好的貼合。此外，我們觀察到現(xiàn)有方法在邊界框分類與位置回歸學(xué)習(xí)中存在語義不一致性，所以我們對訓(xùn)練過程中分類與回歸目標(biāo)進行了篩選，從而給出了語義一致性的學(xué)習(xí)目標(biāo)。實驗證明我們的優(yōu)化方法上對于檢測性能的提升十分有效。
方法示意圖
