面部表情分析是計算機通過分析人臉信息嘗試?yán)斫馊祟惽楦械囊环N技術(shù),目前已成為計算機視覺領(lǐng)域的熱點話題。其挑戰(zhàn)在于數(shù)據(jù)標(biāo)注困難、多人標(biāo)簽一致性差、自然環(huán)境下人臉姿態(tài)大以及遮擋等。為了推動面部表情分析發(fā)展,本文概述了面部表情分析的相關(guān)任務(wù)、進展、挑戰(zhàn)和未來趨勢。首先,簡述了面部表情分析的幾個常見任務(wù)、基本算法框架和數(shù)據(jù)庫;其次,對人臉表情識別方法進行了綜述,包括傳統(tǒng)的特征設(shè)計方法以及深度學(xué)習(xí)方法;接著,對人臉表情識別存在的問題與挑戰(zhàn)進行總結(jié)思考;最后,討論了未來發(fā)展趨勢。通過全面綜述和討論,總結(jié)以下觀點:
1)針對可靠人臉表情數(shù)據(jù)庫規(guī)模小的問題,從人臉識別模型進行遷移學(xué)習(xí)以及利用無標(biāo)簽數(shù)據(jù)進行半監(jiān)督學(xué)習(xí)是兩個重要策略;
2)受模糊表情、低質(zhì)量圖像以及標(biāo)注者的主觀性影響,非受控自然場景的人臉表情數(shù)據(jù)的標(biāo)簽庫存在一定的不確定性,抑制這些因素可以使得深度網(wǎng)絡(luò)學(xué)習(xí)真正的表情特征;
3)針對人臉遮擋和大姿態(tài)問題,利用局部塊進行融合的策略是一個有效的策略,另一個值得考慮的策略是先在大規(guī)模人臉識別數(shù)據(jù)庫中學(xué)習(xí)一個對遮擋和姿態(tài)魯棒的模型,再進行人臉表情識別遷移學(xué)習(xí);
4)由于基于深度學(xué)習(xí)的表情識別方法受很多超參數(shù)影響,導(dǎo)致當(dāng)前人臉表情識別方法的可比性不強,不同的表情識別方法有必要在不同的簡單基線方法上進行評測。目前,雖然非受控自然環(huán)境下的表情分析得到較快發(fā)展,但是上述問題和挑戰(zhàn)仍然有待解決。
人臉表情分析是一個比較實用的任務(wù),未來發(fā)展除了要討論方法的精度也要關(guān)注方法的耗時以及存儲消耗,也可以考慮用非受控環(huán)境下高精度的人臉運動單元檢測結(jié)果進行表情類別推斷。