1. 研究目的与意义
在日常的人际交往中，人类传达情感主要通过语言、声音和面部表情等方式。研究者发现，面部表情是表达人类情感信息的最重要方式。非语言信息在交流总信息量中的占比超过50%，而表情信息在非语言信息中占最大比重。因此，研究面部表情不仅可以提升人与人之间的沟通效率，还可以帮助计算机理解人类的情绪，对于人机交互具有重大意义。人脸表情识别的应用遍布各个生活场景，给人们带来诸多便利。在汽车消费行业，随着新能源汽车的崛起，汽车消费者的关注点从早起的车辆机械的复杂调教，转变为智能化系统带来的舒适驾乘体验。流畅的人车交互系统和可靠的驾驶安全性是影响车辆受欢迎程度的重要因素。搭载了准确、低延迟的人脸表情识别的车机系统可以实现对驾驶员状态实时评估。在驾驶员出现疲劳驾驶、情绪驾驶情况时，辅助的车机系统能够及时做出提醒甚至接管车辆，从而防止事故发生。在医疗行业，未来中国的老龄化问题将会越来越严峻，使得人均医疗资源相对紧缺，这对于医疗系统将是极大的考验。医疗技术的进步和人工智能新技术的突破使得医疗行业蕴藏变革机遇。其中人脸表情识别技术将打破时间和空间的约束，医护人员可以照顾到更多病人，行动能力受限的患者能够通过表情呼叫医疗服务。在终端消费品行业，人脸表情识别技术通过识别相机人物的笑容，可以辅助没有摄影基础的用户对精彩画面进行自动抓拍。虚拟现实(virtual reality,vr)游戏基于虚拟现实场景给予玩家身临其境的真实感受，玩家主要通过vr设备实现与虚拟世界连接。如果将人脸表情识别技术与vr技术相结合，可以根据玩家的心理状态选择游戏剧情，将大大增强游戏的氛围沉浸感。如果将表情识别应用到教育行业当中，能够帮助老师了解学生的心理状况或学生对老师授课内容的接受程度，信息的及时反馈能让老师们更好地调整自己的教学方式，从而更好地解决学生的疑惑。
因此人脸表情识别展现出了其独特而重要的研究价值和应用价值，从而成为了一个热门研究课题。在研究方法上，深度学习的兴起为人工智能的研究提供了更强有力的工具，人脸表情识别与深度学习结合能够在人脸表情识别的速率、准确率上获得很好的提升，有重要的实践意义。
本课题拟完成基于pytorch的人脸表情识别系统的设计与实现 ，利用pytorch框架、opencv库等，进行模型训练，从而完成目标的检测与识别，以提高人脸表情识别的精度，将其运用于一些生活场景中。
2. 课题关键问题和重难点
课题关键问题及难点
基于pytorch的人脸表情识别系统分为四个大模块：人脸表情图片数据集的构建和读取、基于pytorch的模型构建、模型训练及参数调试、测试及系统实现。本课题拟完成基于pytorch的人脸表情识别系统的设计与实现。
本课题的关键：
3. 国内外研究现状（文献综述）
2019年，safaltin s,和gencer o, morgul m c在“realization of four-terminal switching latticestechnologydevelopmentandcircuitmodeling”中谈到，现代社会正在逐渐从海量数据时代向智能时代迈进，刺激和促进了大量新兴技术的迅猛发展[1]。人工智能技术迅速发展，并应用于日常生活各个领域。其中，对人面部表情的研究不仅可以提升人与人之间的沟通效率，还可以帮助计算机理解人类的情绪，对于人机交互具有重大意义[2]。在研究方法上，深度学习的兴起为人工智能的研究提供了更强有力的工具，人脸表情识别与深度学习结合能够在人脸表情识别的速率、准确率、鲁棒性上获得很好的提升，有重要的实践意义[3]。与此同时，深度学习框架不断发展。2017 年 1 月，facebook 人工智能研究院发布了 pytorch 深度学习框架[4]，pytorch 简单高效的编程方式让学者能够快速验证想法，大大提升了实验生产的效率。随着科学技术迅速发展以及生活水平不断提升，消费者对智能化设备的需求日益提升，越来越注重智能商品的人机交互体验。在众多人工智能领域中，人脸表情识别已经成为十分热门的研究方向，但同时人脸表情识别也面临新的挑战。2019 年人脸表情识别领域发布了有超过四十万张图片的 affectnet[5]数据集，海量的数据虽然使得人脸表情识别的准确率获得一定幅度的提升，但也很快触及了卷积神经网络的瓶颈。扩充数据量不仅需要面临高昂的人工标注成本，并且模型的性能提升也变得微乎其微。如何通过优化网络结构提升识别性能已经成为当下最主要的研究问题。
人工神经网络是人工智能研究领域最热的深度学习模型，由早期的神经科学家受到人脑神经系统的启发构造而成，该网络是指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度便是可学习的参数。随着人工神经网络越来越复杂，数据越来越多，计算量急剧增加，我们需要在神经网络参数学习上花费的时间也就越来越多，可是现实中往往为了解决复杂的问题，复杂的网络结构和大数据又是不可避免的，神经网络的优化器便由此而生，通过优化算法加速神经网络的训练，加速参数的学习。目前的优化算法主要从两方面入手：调整学习率和调整梯度方向，以此来优化训练速度。常见的优化算法gradient descent，即梯度下降算法，由 cauchy,augustin 于 1847 年首次提出，依据数学理论解决了神经网络中参数学习的方向问题，基于此算法，往后的科研人员做出了许多优化。在 1951 年，sgd 算法的早期形式被提出，随机梯度下降的参数学习方法被广泛应用，由于 sgd 学习效率的局限，在 1964 年，由 polyak 提出了 momentum 的优化算法，此算法利用给学习参数附加惯性值，大大提高了参数学习的效率。在神经网络兴起的这几年中，优化算法也从没停止发展，2011 年 john duchi 提出了通过优化学习率参数来提高学习效率的 adagrad 优化算法，2015年diederik p. kingma和jimmy lei ba提出的adam优化算法集合了 momentum 和 adagrad 算法的优点，进一步提高了学习效率。在接下来的几年中，相继提出了 adamax、nadam、sgdw、adabound、radam 等优化算法[6]。
人脸表情识别的 3 个关键环节（人脸检测与定位、面部表情特征的提取与表示、人脸表情的识别分类）构成了人脸表情分析系统[7]：
4. 研究方案
1. 项目流程
图1项目流程
5. 工作计划
2022-2023-1学期：
第15-16周：完成选题，查阅相关中英文资料，进行相关技术的学习；
第17周：与导师沟通进行课题总体规划；
课题毕业论文、文献综述、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
