SENSE 是什么?
SENSE(SENSE AI 真实性验证系统)是一套多模态生物特征分析演示系统。它不依赖单一信号, 而是在结构化问答过程中融合四类行为数据:面部微表情、语音声学、由视频估计的生理信号, 以及行为特征。AI 层会生成贴合上下文的访谈问题,并将整个会话汇总为真实度评分、风险等级、 核心疑点与建议。
SENSE 完全在浏览器中运行,除摄像头和麦克风外无需任何专用硬件。它面向娱乐、研究与访谈训练场景, 不适用于法律、医疗或用工决策。
SENSE 如何工作
- 创建会话 选择远程安全链接(有效期 1 小时,报告发送至邮箱)或启动现场监控界面, 并设置问题数量:5 题(短)、10 题(标准)或 20 题(详细)。
- 校准基线 被测者朗读一段数字序列,SENSE 在此时采集其静息状态下的声学与视觉基线。
- AI 生成上下文问题 系统根据你填写的背景信息生成相关问题,并逐题呈现。
- 实时多模态分析 回答由 SenseVoice 多语言语音模型转写 [10],同时 SENSE 持续分析微表情、声音压力指标、 估计心率与视线/头部/手部行为,并实时展示生物特征。
- 生成最终报告 会话结束后,SENSE 输出真实度评分、风险等级、核心疑点与建议摘要。
方法与验证状态
SENSE 展示的每一项能力都对应已发表的方法或有据可查的模型。下表说明:测什么、依据什么、证据到什么程度。
| 能力 | 测量信号 | 方法 / 依据 | 验证状态 |
|---|---|---|---|
| 面部动作单元 | 皱眉(AU4)、微笑(AU12)、颧部提升(AU6)、抿嘴 | MediaPipe Face Landmarker 的 52 项 blendshape 分数,映射为 FACS 风格动作单元 [1][2] | 基于模型的近似值,非认证 FACS 编码 |
| 语音声学 | 基频(F0,75–600 Hz)、局部 jitter、局部 shimmer、HNR | Praat / Parselmouth 算法 [8][9] | 标准声学指标;压力推断属于启发式 |
| 心率(rPPG) | 由面部像素颜色变化估计的脉搏波形 | 文献中的 rPPG 方法 [5][6][7] | 非医疗级估计;受光线与运动影响 |
| 行为特征 | 视线偏移、眨眼频率、肩部稳定性、手部触碰面部 | MediaPipe Face / Pose / Gesture 关键点模型 [2][3][4] | 仅为行为指标 |
| 回答转写 | 中文与英文的口语回答 | SenseVoice 多语言语音识别(ONNX 量化) [10] | 开源语音模型 |
| 数据传输 | 传输至分析服务器的视频与音频帧 | TLS 传输(HTTPS) [11] | 标准 TLS;非端到端加密 |
| 真实度评分与风险等级 | 对上述信号加权评分,并由 LLM 汇总 | 公开的内部阈值,与个人基线对比(见下) | 并非经过验证的测谎方法 [12][13][14] |
评分模型(公开阈值)
- 声音压力:局部 jitter > 6% 记 2 分、> 3.5% 记 1 分;局部 shimmer > 25% 记 2 分、> 16% 记 1 分;基频 > 320 Hz 且 jitter > 2.5% 记 1 分。总分超过 2 分且持续至少 3 个分析周期才会被标记。
- 心率:与个人基线对比——高于基线 40% 以上加 15 个惩罚分,25% 以上加 10 分,13% 以上加 5 分。
- 回答回避:复杂问题仅用少于 5 个中文字符或 3 个英文单词回答,并伴随“不知道”等措辞时会被标记。
- 镇定奖励:正常长度的回答若未触发声音、心率或行为标记,可获得 5–10 分奖励。
应用场景
- 面试训练 —— 在高压力模拟访谈中获得实时行为反馈。
- HR 与合规演练 —— 以培训为目的模拟结构化诚信访谈。
- 多模态研究 —— 探索问答过程中面部、声音与生理信号之间的关联。
- 娱乐与活动 —— 通过远程链接或现场监控模式打造“测谎机”互动体验。
价格
SENSE 采用积分钱包计费:每次测量会消耗积分,提供三种充值包,目前支持微信支付。
打开应用后点击钱包图标即可充值。
常见问题
SENSE 是什么?
SENSE(SENSE AI 真实性验证系统)是衍数科技开发的浏览器端多模态行为分析系统。它仅通过摄像头和麦克风,结合面部微表情分析、语音声学分析、远程心率(rPPG)估计与视线/头部/手部行为追踪,生成访谈问题,并输出结构化的真实度评分与风险报告。
SENSE 是测谎仪吗?
不是。SENSE 是多模态生物特征分析技术的演示系统,仅供娱乐与研究用途。它并非经过认证的测谎设备或医疗设备,分析结果属于概率估计,可能受光线、摄像头质量与个体差异影响。
使用 SENSE 需要什么设备?
一台带可用摄像头和麦克风的电脑或手机,以及现代浏览器(推荐 Chrome 或 Edge)。无需任何特殊传感器,心率通过面部视频的 rPPG 技术估计。
不用穿戴设备,SENSE 如何估计心率?
SENSE 采用远程光电容积脉搏波描记法(rPPG):从摄像头像素中提取面部皮肤因血流产生的细微周期性颜色变化,并转换为脉搏波形。该数据并非医疗级测量。
SENSE 支持哪些语言?
SENSE 的界面与 AI 生成的问题支持简体中文和英文。
SENSE 的最终报告包含哪些内容?
真实度评分、风险等级、从多模态信号中标记的核心疑点,以及建议摘要。在远程链接模式下,报告可发送至指定邮箱。
SENSE 会存储我的视频和音频吗?
视频与音频实时处理以提取生物特征,传输过程采用 HTTPS(TLS)加密。请勿在上下文分析引擎中上传敏感或含个人身份信息的文件。
SENSE 如何收费?
SENSE 采用积分钱包计费,提供 10、50、100 积分充值包,每次测量会消耗积分。目前支持微信支付。
参考文献
- Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press.
- Google AI Edge. MediaPipe Face Landmarker — 面部关键点与 52 项 blendshape 分数。 ai.google.dev/edge/mediapipe
- Google AI Edge. MediaPipe Pose Landmarker. ai.google.dev/edge/mediapipe
- Google AI Edge. MediaPipe Gesture Recognizer. ai.google.dev/edge/mediapipe
- Verkruysse, W., Svaasand, L. O., & Nelson, J. S. (2008). Remote plethysmographic imaging using ambient light. Optics Express, 16(26), 21434–21445. doi:10.1364/OE.16.021434
- Wang, W., den Brinker, A. C., Stuijk, S., & de Haan, G. (2017). Algorithmic principles of remote PPG. IEEE Transactions on Biomedical Engineering, 64(7), 1479–1491. doi:10.1109/TBME.2016.2609282
- de Haan, G., & Jeanne, V. (2013). Robust pulse rate from chrominance-based rPPG. IEEE Transactions on Biomedical Engineering, 60(10), 2878–2886. doi:10.1109/TBME.2013.2266196
- Teixeira, J. P., Oliveira, C., & Lopes, C. (2013). Vocal acoustic analysis – jitter, shimmer and HNR parameters. Procedia Technology, 9, 1112–1122. doi:10.1016/j.protcy.2013.12.124
- Boersma, P., & Weenink, D. Praat: doing phonetics by computer. fon.hum.uva.nl/praat
- An, K., et al. (2024). FunAudioLLM: Voice understanding and generation foundation models for natural interaction between humans and LLMs (SenseVoice). arXiv:2407.04051. arxiv.org/abs/2407.04051
- IETF (2018). RFC 8446: The Transport Layer Security (TLS) Protocol Version 1.3. rfc-editor.org/rfc/rfc8446
- National Research Council (2003). The Polygraph and Lie Detection. The National Academies Press. doi:10.17226/10420
- Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest, 20(1), 1–68. doi:10.1177/1529100619832930
- DePaulo, B. M., Lindsay, J. J., Malone, B. E., Muhlenbruck, L., Charlton, K., & Cooper, H. (2003). Cues to deception. Psychological Bulletin, 129(1), 74–118. doi:10.1037/0033-2909.129.1.74