Sentix AI：一个用于实时面部情感检测和视频时间分析的生产级平台

本文描述了Sentix AI，一个用于实时情感检测和视频时间分析的浏览器原生平台。该系统使用Google Gemini的多模态模型来提取逐帧情感数据，捕捉笑声事件，跟踪多人，并生成时间编码报告。它完全在浏览器内运行，基于React 19、TypeScript和Gemini 1.5 Pro视觉API——无需GPU，无需服务器，仅需一个网络浏览器和一个视频文件。我们对多种内容类型、照明条件和人脸数量进行了测试。该系统引入了一种基于事件的情感架构，将时间跨度、峰值强度和逐人跟踪整合为一个JSON结构。本文涵盖了架构、我们所做的权衡、实际中出现的问题，以及我们认为的未来发展方向——包括边缘推断、多语言情感分析和临床应用。