图片简介:本技术介绍了一种基于多特征的面谈内容可信度评价方法和系统。
该方法包括：实时采集参与面谈者的面谈音视频数据，通过组合算法处理从中实时提取出生理特征、微表情特征和语音特征，并运用多模态融合策略融合成特征向量，输入可信度分类预测模型，实时得出面谈内容可信度等级进行显示和提醒，最后整合面谈中参与面谈者各时段的面谈内容可信度等级得出其面谈总体的可信度评价。
该系统主要包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。
本技术采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，且采用多特征融合策略，分类预测模型兼顾部分特征缺失的情境，可有效提高可信度评价的真实性和可靠性。
技术要求1.一种基于多特征的面谈内容可信度评价方法，其特征在于，包括以下步骤：S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号；所述有效的序列帧图像和被语音信号分别满足参与面谈者人脸图像和语音信号提取条件；S2、从有效的序列帧图像和语音数据中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号；S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征；S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量；S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记；S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
2.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程；所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程；所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。
3.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。
4.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数；所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等；所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
5.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。
6.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
7.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
8.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。
9.一种基于多特征的面谈内容可信度评价系统，其特征在于，其主要组成包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元；所述数据采集单元用于采集参与面谈者音视频数据；所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块；所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合单元用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价；所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善；所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示；所述数据存储单元用于存储用于模型构建的样本数据，包括所有参与了面谈可信度评价的参与面谈者的数据。
10.根据权利要求9所述的一种基于多特征的面谈内容可信度评价系统，其特征还在于，还包括查询单元和参与面谈者管理单元；所述查询单元，用于对参与面谈者面谈内容的可信度评价结果的查询；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
技术说明书一种基于多特征的面谈内容可信度评价方法和系统技术领域本技术涉及音视频信息处理技术领域，具体涉及一种基于多特征的面谈内容可信度评价方法和系统。
背景技术在面试、谈判、审讯等目的性面谈过程中，参与面谈者出于达到自身目的的动机，比如争取更高的面谈得分、在谈判中获取更多的利益、推诿责任或逃避罪责等，可能会出现过分夸大、说谎、掩饰等违背事实的行为。
目前国内外已有不少对于测谎的研究，并部分实现了在刑事侦查等特定领域中的应用，例如多道生理数据和脑电采集分析技术、微表情分析技术、语音分析技术等。
其中多道生理数据采集分析技术最为常见，通过对心率、呼吸、血压、皮肤电阻等生理数据的采集分析来判断被测试者是否说谎，而脑电采集分析技术则是通过采集分析脑电波信号来实现测谎，这两者都利用接触式传感器固定于被测试者的特定部位进行测量，对测试环境、过程要求较高，容易引起被测试者的应激反应，同时被测试者也可能更加警觉而采取相应的干扰手段，从而严重影响测谎效果。
微表情分析技术是对人脸表情进行识别分析，易受文化、种族和个体差异影响，也相对其他技术更容易进行伪装和掩饰。
语音分析技术则是主要是通过声学特征和词汇特征分析进行测谎，后者会受语言习惯、表达方式差异的影响。
以上测谎技术均有可取之处，但也各有不足，另外由于基本上都是单独应用，目前还没有成熟的融合策略和模型以进一步提高测谎准确率。
技术内容本技术的目的在于提出一种基于多特征的面谈内容可信度评价方法和系统，实时采集或导入参与面谈者的面谈音视频数据，通过对音视频数据的组合算法处理和可信度分类预测模型判定，得出参与面谈者面谈内容实时可信度等级，并且可以综合整个面谈过程中参与面谈者各时段面谈内容的可信度等级得出其整个面谈的可信度评价，为面谈主持方提供评估依据。
为达成上述目的，本技术提出一种基于多特征的面谈内容可信度评价方法，具体包括以下步骤：S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号。
所述有效的序列帧图像和语音信号分别满足参与面谈者人脸图像和语音信号提取条件。
S2、从有效的序列帧图像和语音信号中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号。
所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程。
所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程。
所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征。
所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。
所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数。
所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等。
所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量。
所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。
S5、将特征向量输出至可信度分类预测模型，得出当前参与面谈者面谈内容可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记。
所述可信度分类预测模型基于前期采集的出现过分夸大、说谎、掩饰等违背事实的行为时的人员的生理特征、微表情特征和语音特征的样本数据库进行构建，兼容任意一类或两类特征数据缺失的情况。
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
进一步的，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
进一步的，一种基于多特征的面谈内容可信度评价方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
进一步的，一种基于多特征的面谈内容可信度评价方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。
根据本技术，还提出一种基于多特征的面谈内容可信度评价系统，具体包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。
所述数据采集单元用于采集参与面谈者音视频数据。
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块。