多模态数据同步系统实验室建设方案:
1、实验室方案
ErgoLAB心理行为多模态数据同步实验室包括主控观察室和若干间测试室,实验室布置有心理实验平台、主观评价平台、多模态客观数据采集平台与人机环境多维度数据采集分析及人工智能应用平台。
2、系统组成
实验室由脑电测量系统、近红外脑成像系统、多模态脑成像系统、脑功能超扫描系统、多通道生理信号采集系统、行为观察系统、动作捕捉系统、主观评价系统、心理实验平台、人机环境同步定量采集系统和人机环境同步定量分析系统组成。实验室能够实现基于脑电测量、近红外脑成像、多模态脑成像、生理测量、行为观察、动作捕捉、主观评价、行为实验等技术的多维度主客观数据的采集与分析,进行心理学、认知神经科学、语言学等相关学科的基础研究。
多模态数据同步系统实验室功能特点:
1、实验设计:结合ErgoLAB人机环境测试云平台实验设计模块,可面向图片、音频、文字、视频、网页等测试对象,进行专业的实验设计;同时平台具备问卷、量表、行为实验范式等主观测评模型库。
2、数据同步采集:通过ErgoLAB人机环境同步云平台,可以同步采集主客观多模态数据,包括脑电与功能性脑成像数据、人体多通道生理数据、眼动追踪数据、行为与面部表情数据、动作捕捉数据、生物力学数据等。从视觉注意偏好、生理应激压力缓解、行为表现、主观情绪体验、人机交互等数据。同步采集多维度数据能够为研究提供更加有力的支撑,也能够丰富研究内涵、拓宽研究维度。
3、数据分析:通过ErgoLAB人机环境同步云平台所采集到的主客观多模态数据,都可以通过平台进行进一步的分析与处理。平台提供多种信号处理算法,研究人员可以依据自身研究需求进行调整,完成数据分析。此外,原始数据、处理后的数据以及数据报告都可以通过平台进行导出。可根据研究人员的需求进行相关功能定制开发。
4、状态识别与模型训练:研究人员能够结合机器学习的算法,使用ErgoLAB人机环境同步云平台所收集的多模态主客观数据,进行算法模型训练与人员状态识别研究和应用。