人脸识别：人脑认知与计算机算法（二）

由 editor Chen 提交于周四, 23 二月 2017 - 14:41

本篇主题：外在特征与内在特征

在<a href="http://imgtec.eetrend.com/blog/8449">上一篇</a>中我们提到了外在特征与内在特征的概念，简单的说，外在特征(external features)指的是头发（颜色、发型）、脸部轮廓、脸颊等，内在特征(internal features）指的是眼睛、鼻子和嘴巴以及它们之间的内在关系 [1]。

人类视野的分辨率从视野中央往外侧快速下降，因此需要不断的调整注视方向来获取高精度图像，也就是注意力点的变化。同时，人眼运动控制的相当部分是直接由脑干区域的神经核团支配的，也就是说，不受大脑皮层的控制，因此眼动在大部分情况下不进入意识层面，其运动控制表现出对注意力控制的被支配性。通过观测注视（眼动）的变化，可以获知人的注意力的重点 [2]，也就是信息获取的关键，眼动因此成为了人类意识的一个易于观测的外显参数 [3]。在我们人类发育的早期，观察人脸首先是注意外在特征多，然后逐步发展的更注意内在特征[4]。当然，这也可能与一岁以下的婴儿的视觉感知情况与更年长者有别有关，两个月以下的婴儿，他/她们的视觉处在一个快速发展的时期——由不清晰到清晰，同时色彩的感知也发生快速的变化[5-7]。

在成人的人脸识别过程总，内在特征与外在特征所扮演的角色各不相同，一般地，我们认为在识别陌生人脸的过程中，外部特征占有比较重要的作用（或者同等重要），当人脸变得熟悉时，外部特征在人脸识别中的重要性逐渐下降，而内部特种的重要性逐渐升高的主导地位 [8]。通过一些量化参数，我们可以大致的描述内在特征和外在特总在人脑的人脸识别任务中的地位[9, 10]：

当然地，一般认为，人脑人脸识别中，内在特征和外在特征是作为一个整体在大脑皮层的相关区域 (Fusiform Face Area, FFA; Occipital Face Area, OFA; Superior Temporal Sulcus, STS)处理，而不是分开的 [11]。

在计算机人脸识别领域，特别是在深度学习出现以前的使用模型的时代，算法研究一直将重心放在内在特征上 [12]，这跟计算机人脸识别的应用场景，以及投入到训练算法中的图像训练集有一定的关系。训练集里的同一个人经常有不同时期不同发型、妆容的图像，易于理解的，算法关注外在特征会降低算法的识别率并增加误识率，这对算法的性能是不利的 [13]。

当然，也有一些人在外在特征方面做过一些尝试，[14] 中算法先使用训练集训练，得到外在特征块的集合Building Block Set，再使用特征块去匹配测试人脸图像，匹配度最高的Building Block提供了测试人脸特征，从而可以用来进行分类。

该算法在当时能做到其他模型接近的精度，证明了外在特征进行人脸识别的可行性。但是如上文所说过的，外在特征天然的不稳定性，并不是做人脸识别的最优信息来源。由于大数据集和深度学习的普遍使用 [15]，外在特征在人脸识别算法中被研究人员不自觉的抛弃。新的人脸识别算法对遮挡、发型、妆容、光照这些外在影响的鲁棒性得到了很大的提高，人们对外在特征的关注似乎就到此为止了。

--------

[1] Ellis, H. D., J. W. Shepherd, and G. M. Davies. "Identification of familiar and unfamiliar faces from internal and external features: some implications for theories of face recognition. " Perception 8.4(1979):431-9.

[2] Hsiao, Janet H. "Eye movements in face recognition." Face Recognition(2010): 255-272.

[3] Rayner, Keith. "Eye movements in reading and information processing: 20 years of research.." Psychological Bulletin 124.3 (1998): 372-422.

[4] Maurer, Daphne, and P. Salapatek. "Developmental Changes in the Scanning of Faces by Young Infants." Child Development 47.2(1976):523-7.

[5] Atkinson, Janette, Oliver Braddick, and Fleur Braddick. "Acuity and contrast sensitivity of infant vision." Nature (1974).

[6] Norcia, Anthony M., Christopher W. Tyler, and Russell D. Hamer. "Development of contrast sensitivity in the human infant." Vision research 30.10 (1990): 1475-1486.

[7] R Wilson, Hugh. "Development of spatiotemporal mechanisms in infant vision."Vision research 28.5 (1988): 611-628.
[8] Ellis, Hadyn D., John W. Shepherd, and Graham M. Davies. "Identification of familiar and unfamiliar faces from internal and external features: Some implications for theories of face recognition." Perception 8.4 (1979): 431-439.

[9] Hills, Charlotte, et al. "An adaptation study of internal and external features in facial representations." Vision research 100 (2014): 18-28.

[10] Jarudi, Izzat N., and Pawan Sinha. Relative contributions of internal and external features to face recognition. No. AI-MEMO-2003-004. MASSACHUSETTS INST OF TECH CAMBRIDGE ARTIFICIAL INTELLIGENCE LAB, 2003.

[11] Andrews, Timothy J., et al. "Internal and external features of the face are represented holistically in face-selective regions of visual cortex." The Journal of Neuroscience 30.9 (2010): 3544-3552.

[12] Cootes, Timothy F., Gareth J. Edwards, and Christopher J. Taylor. "Active appearance models." European conference on computer vision. Springer Berlin Heidelberg, 1998.

[13] Zhao, Wenyi, et al. "Face recognition: A literature survey." ACM computing surveys (CSUR) 35.4 (2003): 399-458.

[14] Lapedriza, Agata, David Masip, and Jordi Vitria. "Face verification using external features." 7th International Conference on Automatic Face and Gesture Recognition (FGR06). IEEE, 2006.

[15] Yi, Dong, Zhen Lei, and Stan Z. Li. "Towards pose robust face recognition."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013.

作者： Owl of Minerva
链接： https://zhuanlan.zhihu.com/p/21799161