Methodology

方法与技术依据

本页完整说明 SENSE 测量什么、依据哪些已发表方法、评分模型使用了哪些阈值，以及它 不宣称什么。每一条表述都可以通过引用来源或在线演示进行核验。

启动 SENSE 产品介绍

1. 信号类别

SENSE 在结构化问答过程中分析四类信号，所有信号都与会话开始时采集的个人校准基线进行对比 （被测者朗读一段数字序列以建立基线）。

1.1 面部动作单元（FACS 风格近似）

面部关键点与 52 项 blendshape（融合变形）分数由 MediaPipe Face Landmarker 生成 [2]。各 blendshape 通道按以下方式组合为 FACS 风格动作单元 [1]：

FACS 风格动作单元blendshape 通道归一化含义
AU4 — 皱眉browDownLeft + browDownRight求和 / 1.9眉部收紧
AU12 — 嘴角上扬mouthSmileLeft + mouthSmileRight求和 / 2.0微笑
AU6 — 颧部提升cheekSquintLeft + cheekSquintRight求和 / 2.0颧部提升；AU12 高而 AU6 低时标记为“假笑”（AU12 > 0.5 且 AU6 < 0.35）
抿嘴mouthPressLeft + mouthPressRight求和 / 2.0嘴唇压紧
视线偏移eyeLookUpLeft、eyeLookOutLeft、eyeLookDownLeft、eyeLookDownRight取最大值视线偏离近似指标
  • 眨眼检测：由面部关键点计算眼睛纵横比（EAR）；当 EAR < 0.25 时，按 0→1 跳变计为一次眨眼。所显示的眨眼频率为滑动窗口估算值。
  • 活体检测：在约 20 帧的窗口内，如果 EAR 与嘴部纵横比的标准差低于 0.001（完全静止的人脸，例如照片），该帧将被判定为翻拍/面具攻击并拒绝。

1.2 语音声学

音频以 16 kHz 单声道采集，使用 Praat / Parselmouth 在 1 秒滑动缓冲区上分析 [8][9]。jitter（频率微扰）、 shimmer（振幅微扰）与 HNR（噪信比）均为标准声学指标 [15]：

  • 静音门限：RMS 低于 0.02 的帧将被忽略。
  • HNR 门限：当平均 HNR 低于 10 dB 时，认为声音过于嘈杂或气声过重，不采信 jitter/shimmer 的压力判断。
  • 基频（F0）：Praat 自相关算法，搜索范围 75–600 Hz。
  • jitter / shimmer：Praat 局部周期与振幅微扰算法。
  • 帧级压力评分：jitter > 6%（+2 分）或 > 3.5%（+1 分）；shimmer > 25%（+2 分）或 > 16%（+1 分）；基频 > 320 Hz 且 jitter > 2.5%（+1 分）。仅当总分超过 2 分且连续 3 个分析周期保持时才会被标记。jitter 高于 10% 视为不可靠（信号断裂），不作标记。
  • 性能：每 5 个音频块分析一次，在保持界面响应的同时降低 CPU 占用。

1.3 远程心率（rPPG）

远程光电容积脉搏波描记法（rPPG）通过血流引起的面部皮肤细微周期性颜色变化来估计脉搏 [5]。SENSE 将视频帧传输至独立的心率分析服务，该服务通过 WebSocket 返回心率（BPM）与置信度；访谈引擎使用心率相对个人基线的变化。此类方法对应的 已发表算法体系包括基于色度的 rPPG [7] 与 Wang 等人的算法原理综述 [6]。

SENSE 的 rPPG 心率属于非医疗级估计。运动、光线、肤色、妆容与摄像头帧率都会影响准确性， 不得用于健康诊断或监测。

1.4 行为特征

  • 视线偏移 —— 取眼部视线类 blendshape 的最大值（见 1.1）。
  • 眨眼频率 —— 滑动窗口估算值（见 1.1），与个人基线对比。
  • 肩部稳定性 —— 使用 MediaPipe Pose Landmarker 的肩部关键点 11/12 中点 [3]；10 帧窗口内标准差低于 0.003 时标记为“僵直”。
  • 手部触碰面部 —— 使用 MediaPipe Gesture Recognizer 的手部关键点 [4] 与鼻部位置比对；距离低于像素阈值时标记。

这些仅为行为观察指标。元分析研究表明，行为线索与欺骗的关联很弱 [14]，SENSE 不会将其作为说谎的证据。

2. 评分模型（公开阈值）

每个回答回合产生一个风险分：视觉 + 声学 + 心率 + 语言惩罚分，减去镇定奖励分。 下表列出当前版本使用的确切阈值。

类别条件惩罚分
手部触脸接触帧占比 > 30% / > 15%15 / 5
假笑AU12 > 0.5 且 AU6 < 0.35 的帧占比 > 10%8
眨眼频率高于个人基线 1.4 倍或低于 0.4 倍各 4
僵直肩部移动低于阈值的帧占比 > 40%8
声音 jitter高于基线 1.8 倍且均值 > 4% / 高于 1.5 倍且 > 2.5%10 / 5
声音音高高于基线 1.3 倍 / 1.16 倍10 / 5
声音压力帧在有效帧中占比 > 40%5
声音极值任意帧 jitter > 7%5
心率高于个人基线 1.40 倍 / 1.25 倍 / 1.13 倍15 / 10 / 5
回答回避复杂问题回答少于 5 个中文字符或 3 个英文单词，并伴随“不知道”等措辞10
镇定奖励正常长度回答且无标记 / 仅有轻微标记−10 / −5

少于 2 个有效字符的回答（例如只有“嗯”“啊”）视为无效回合并排除。最终报告将各回合风险分 与 LLM 对已标记信号的摘要相结合。

3. SENSE 不宣称什么

  • 它不是测谎仪。真实度评分与风险等级是基于上述启发式规则的概率性估计，并非经过验证的测谎方法 [12][14]。
  • 它不是医疗设备。rPPG 心率为非医疗级估计 [5][6]。
  • 面部动作不等于情绪读数。同行评审研究质疑从面部动作直接推断情绪或意图的做法 [13]。
  • 语音压力分析未通过测谎有效性验证。针对分层语音分析（LVA）的对照研究显示其准确率接近随机水平 [18][19]，综述也表明欺骗线索整体很弱 [14][17]。
  • 不得用于对人的决策。不得用于法律、招聘、保险、移民或医疗决策。

5. 参考文献

  1. Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press.
  2. Google AI Edge. MediaPipe Face Landmarker — 面部关键点与 52 项 blendshape 分数。 ai.google.dev/edge/mediapipe
  3. Google AI Edge. MediaPipe Pose Landmarker. ai.google.dev/edge/mediapipe
  4. Google AI Edge. MediaPipe Gesture Recognizer. ai.google.dev/edge/mediapipe
  5. Verkruysse, W., Svaasand, L. O., & Nelson, J. S. (2008). Remote plethysmographic imaging using ambient light. Optics Express, 16(26), 21434–21445. doi:10.1364/OE.16.021434
  6. Wang, W., den Brinker, A. C., Stuijk, S., & de Haan, G. (2017). Algorithmic principles of remote PPG. IEEE Transactions on Biomedical Engineering, 64(7), 1479–1491. doi:10.1109/TBME.2016.2609282
  7. de Haan, G., & Jeanne, V. (2013). Robust pulse rate from chrominance-based rPPG. IEEE Transactions on Biomedical Engineering, 60(10), 2878–2886. doi:10.1109/TBME.2013.2266196
  8. Teixeira, J. P., Oliveira, C., & Lopes, C. (2013). Vocal acoustic analysis – jitter, shimmer and HNR parameters. Procedia Technology, 9, 1112–1122. doi:10.1016/j.protcy.2013.12.124
  9. Boersma, P., & Weenink, D. Praat: doing phonetics by computer. fon.hum.uva.nl/praat
  10. An, K., et al. (2024). FunAudioLLM: Voice understanding and generation foundation models for natural interaction between humans and LLMs (SenseVoice). arXiv:2407.04051. arxiv.org/abs/2407.04051
  11. IETF (2018). RFC 8446: The Transport Layer Security (TLS) Protocol Version 1.3. rfc-editor.org/rfc/rfc8446
  12. National Research Council (2003). The Polygraph and Lie Detection. The National Academies Press. doi:10.17226/10420
  13. Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1–68. doi:10.1177/1529100619832930
  14. DePaulo, B. M., Lindsay, J. J., Malone, B. E., Muhlenbruck, L., Charlton, K., & Cooper, H. (2003). Cues to deception. Psychological Bulletin, 129(1), 74–118. doi:10.1037/0033-2909.129.1.74
  15. Titze, I. R. (1994). Toward standards in acoustic analysis of voice. Journal of Voice, 8(1), 1–7. PMID 8167782
  16. Ahmad, A., Li, Z., Iqbal, S., & Aurangzeb, M. (2024). A comprehensive bibliometric survey of micro-expression recognition system based on deep learning. Heliyon. PMID 38495163
  17. Bond, C. F., & DePaulo, B. M. (2008). Individual differences in judging deception: Accuracy and bias. Psychological Bulletin, 134(4), 477–492. PMID 18605814
  18. Harnsberger, J. D., Hollien, H., Martin, C. A., & Hollien, K. A. (2009). Stress and deception in speech: Evaluating layered voice analysis. Journal of Forensic Sciences, 54(3), 642–652. PMID 19432740
  19. Horvath, F., McCloughan, J., Weatherman, D., & Slowik, S. (2013). The accuracy of auditors' and layered voice analysis (LVA) operators' judgments of truth and deception during police questioning. Journal of Forensic Sciences, 58(2), 385–392. PMID 23406506
  20. European Union (2024). Regulation (EU) 2024/1689 (Artificial Intelligence Act). eur-lex.europa.eu
  21. 全国人民代表大会常务委员会 (2021). 中华人民共和国个人信息保护法. npc.gov.cn
  22. U.S. Department of Labor. Employee Polygraph Protection Act (EPPA). dol.gov/agencies/whd/polygraph

在演示中验证方法

在线演示严格应用本页记录的全部阈值。

启动 SENSE English methodology