切换到宽版
  • 94阅读
  • 1回复

[数码讨论]ESWA:利用主视眼效应实现高效解码的双频SSVEP脑机接口系统[8P] [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
104236
金币
4022
道行
19523
原创
29307
奖券
16909
斑龄
185
道券
10072
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 18587(小时)
注册时间: 2007-11-29
最后登录: 2024-06-25
— 本帖被 兵马大元帅 执行加亮操作(2024-06-01) —
01 摘要
在这里,我们展示了一种新型双频稳态视觉诱发电位(SSVEP)脑机接口(BCI)系统,它可利用主视眼效应引起的双眼的视觉资源分布差异有效区分相同频率的目标。我们分两个阶段进行了验证:最初的离线实验确认了双眼视差引起的脑电图差异,随后进行了全局优化,以完善 SSVEP 编码和空间排列,从而在20个频率组合构建出40个不同的目标。并开发了一种量身定制的双眼任务相关成分分析(bTRCA)算法,离线最大单个信息传输速率(ITR)为 338.32 比特/分钟,平均为 224.96 比特/分钟,在线版本的平均信息传输速率为 234.13 比特/分钟。这些结果表明,该系统是目前双频 SSVEP BCI 中性能最高的研究之一,为人机交互应用开辟了新的前景。02 方法构建双眼分视的刺激系统
使用偏振光作为三维显示技术的媒介已得到广泛认可。我们的研究利用了这一技术,以方便将不同频率的刺激同时传输到双眼,同时占据相同的空间坐标。我们的实验刺激系统的基本方法如图 1 所示,它描述了视觉刺激信息的顺序流。
如图 1(I)所示,我们生成了两个刺激频率 f1 和 f2,每个刺激物都以不同的频率振荡。然后将这两个刺激物合并在一个专门的偏振频率屏幕上。如图 1(II)所示,投射到屏幕上的结果图像代表了 f1 和 f2 的合并,每个刺激都通过正交偏振光波传递。在融合过程之后,使用偏振眼镜将特定频率的刺激有选择地引导到左右眼(图 1(III))。如图 1(IV)所示,视觉信息通过视丘传输到枕叶,最终在枕叶区域实现信号的公平分布。
图 1(V)是枕叶皮层的横截面图,突出显示了与每只眼睛相对应的优势柱的交替和公平分布。这种解剖学排列表明,当刺激物 f1 和 f2 分别针对左眼和右眼进行调制时,它们在枕叶区内的分布模式应该相似。图 1(VI) 引入了 "交换操作 "的概念。这种技术是将左右眼接收到的频率互换,从而在不增加编码数量的情况下,有效地将所需系统中可识别目标的数量增加一倍。

图1刺激系统示意图。第一个频率(f1)的传播用酒红色表示,第二个频率(f2)用蓝紫色表示。频率信息从计算机传输到大脑的过程依次在(I)至(IV)中描绘。(V)是枕叶部分中眼球优势柱的描绘。(VI) 频率交换操作可使刺激系统中的潜在目标数增加一倍。利用全局优化确定编码
长期以来,双频刺激系统中编码频率的设计一直是 SSVEP 研究中的一个重要考虑因素。值得注意的是,其中许多研究采用的刺激频率与单频方案中使用的频率相似。然而,这些研究保持的频率和相位间隔与单频系统中通常使用的频率和相位间隔相同,特别是 0.2 Hz 和 0.5 π。
我们回到基本问题上来,以便更好地理解这些发现。当前 SSVEP 范例中普遍使用的联合频率相位调制(JFPM)刺激方案的核心是最大化显示刺激之间的差异。我们编码的最终目标是最大限度地提高显示屏上所有目标亮度序列之间的可变性,从而激发出具有最大可变性的诱发电位。
在本研究中,我们采用了粒子群优化法(PSO)来优化 40 个目标的双频编码的刺激频率组合以及空间排列顺序。最终得到的频率、刺激编码和顺序如图 2(III)所示。为了证实优化方法的有效性,我们将优化轨迹与随机生成的基准值进行了对比分析,如图 2 所示。分析表明,与随机生成的数据相比,优化结果的相关性明显较低,这凸显了优化过程的稳健性。

图2 刺激编码全局优化的过程与结果。(I) 刺激频率组合的优化过程。(II) 刺激排列的优化过程。(三)优化的最终结果。酒红色边框中的目标代表频相优化得出的配置,蓝紫色边框中的目标代表交换操作后获得的补充目标。双眼任务相关成分分析(bTRCA)
在本研究中,我们调查了两组不同的刺激目标:由 PSO 生成的 20 个刺激组合(以下简称为 O 组)和交换后的 20 个改变刺激组合(以下简称为 S 组)。尽管存在差异,但两组都使用了相同的刺激编码,从而导致其编码方案可能趋同。本研究在现有工作(Nakanishi 等人,2018 年)的基础上,引入了一种专门针对我们实验刺激系统的独特参数而设计的创新算法。算法流程如图3所示,本部分公式推导较多,建议阅读原文。

图三 bTRCA 流程图,其中蓝紫色部分代表训练过程,酒红色部分代表测试过程。03 结果单目标测试结果
如图 5 所示,在单目标任务中,比较刺激目标和交换目标诱发的 SSVEP 反应时,在时频域观察到了细微差别。初步分析包括计算图 5(I)中各种刺激目标的 SSVEP 反应频谱图,结果显示刺激目标和交换目标产生的单导联频谱模式非常相似,在整个频谱中没有任何幅度差异超过 3 mV。
为了量化这一观察结果,我们对原始时域波形进行了详细的相关性分析。为减轻空间域的影响,对每个通道单独计算相关系数,然后求平均值,得出最终结果。刺激和交换刺激目标之间的时域波形相关性被归类为 "Contra "组,而 "Inter "则表示每个刺激目标组的试验波形矩阵内部的相关性。Intra "表示不同刺激目标的波形矩阵之间的相关性,而这些刺激目标不是交换对。结果表明,"Contra "和 "Intra"(p = .02  .05),这表明刺激目标和交换刺激目标的时域波形相关性与组内相关性相当。这表明,如果不应用信号提取技术,在时频域成分中区分刺激目标和交换目标是具有挑战性的。
相比之下,如图 5(III)所示,空域的空间模式在刺激目标和交换目标之间表现出显著差异。在这里,我们计算了不同刺激频率下刺激目标和交换刺激目标之间的地形图相关性,以及在这些频率下每个刺激目标组的单个试验内的相关性。地形图分布在几个频率上表现出明显的差异,尤其是在主频 f1 (p = .0000000002

图5 单目标实验的分析描述。(I) 受试者 01 对刺激目标 1 和 2(分别为[11, 13 Hz]和[13, 11 Hz])产生的 SSVEP 反应的频谱。覆盖的灰色区域突出显示了反应之间的频谱差异。(II) 时域波形相关分析结果。(III) 地形图相关分析结果。(IV)受试者 01 在刺激目标 1 和 2(分别为[11, 13 Hz]和[13, 11 Hz])处诱发的 SSVEP 反应的归一化地形图,包括差异地形图。40目标离线测试结果
我们的研究首先在 40 个目标的离线实验环境中对我们的新系统及其相应算法进行了严格测试,结果如图 6 所示。与 TRCA 方法相比,我们的 bTRCA 框架在一系列时间窗口持续时间内的分类效果和 ITR 方面都有明显改善。值得注意的是,bTRCA 的单个 ITR 峰值为 338.32 比特/分钟,而平均 ITR 峰值为 224.96 比特/分钟,接近传统单频 SSVEP 范例的性能。eTRCA 技术利用了不同的空间模式变异,在我们的刺激系统中,O 组和 S 组(分别是目标和相应的交换目标)之间的空间模式变异尤为明显。因此,集合方法的实施大大提高了拟议系统的分类准确性,超过了在经典单频 SSVEP 中观察到的增强效果。值得注意的是,这使得平均峰值 ITR 增加了近两倍。这些结果凸显了我们提出方法的巨大潜力。

图6 四十个、目标离线实验的分类结果。(I) 不同算法在不同时间间隔内的 ITR 差异。(II) 不同算法的分类准确率在这些时间段内的波动。(III) 在数据持续时间为 0.6 秒的情况下,ebTRCA 和 eTRCA 算法将优化目标与交换优化目标的分类结果进行比较的热图。40目标在线测试结果
为了进一步证实我们系统的有效性,我们设计了一个基于 SSVEP 拼写的在线实时识别平台。通过使用 TCP/IP 协议实施我们的新系统,该平台得以实现。在评估阶段,刺激时间为0.6 秒。平均准确率为 89.63%,ITR 为 234.13 比特/分钟。表 2 显示了所有十名参与者的实时反馈。值得注意的是,受试者 05 的分类准确率达到了顶峰,ITR 峰值为 282.08 比特/分钟。相比之下,受试者 10 的 ITR 为 134.28 比特/分钟。我们推测,受试者 10 的双目资源分配可能更加公平,值得进一步研究。

04 讨论
表 3 对当前双频系统在分类任务中的功效进行了比较分析。分析表明,本研究中引入的新型双频系统在编码潜力和分类性能等多个指标上似乎都处于领先地位。
然而,我们必须谨慎对待这些研究结果;鉴于观察到的受试者反应的可变性和外部变量的影响,将其明确视为优越是草率的。表 3 中的比较数据应被理解为系统性能的初步指标,而不是对优缺点的明确评估。有必要开展更多的实验工作,以证实新系统相对于现有双频系统的性能优势。
此外,为了比较在人群中的广泛有效性,表 3 还并列了本研究与其他研究的受试者人数。虽然本研究的样本量相对较大,但需要注意的是,在未来的实际应用场景中,需要收集更广泛的数据并增加参与人数,以便对系统进行进一步的研究和调整。这一目标将指导我们的后续工作。
值得注意的是,本研究开发的系统采用了双目方法。这表明,从理论上讲,它可以与其他双频系统集成,以增强目标计数。不过,对这种集成系统的性能进行实证验证仍是未来研究的一个方向。

山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
63831
金币
670821
道行
1947
原创
1819
奖券
1668
斑龄
23
道券
425
获奖
0
座驾
设备
摄影级
在线时间: 19940(小时)
注册时间: 2008-10-01
最后登录: 2024-06-26
只看该作者 沙发  发表于: 05-28
ESWA(Efficient Subcarrier Wavelet-based Amplitude Estimation for SSVEP-based Brain-Computer Interface)是一种利用主视眼效应实现高效解码的双频SSVEP(steady-state visually evoked potential)脑机接口系统。SSVEP脑机接口是通过诱发用户大脑产生稳定的视觉诱发电位来实现的,这种电位通常由特定频率的视觉刺激引起。

在ESWA系统中,为了提高脑机接口的效率和准确性,采用了基于小波变换的幅值估计方法来检测和解码用户的大脑信号。小波变换提供了一种有效的时间-频率分析工具,可以帮助精确地估计脑电图(EEG)信号中SSVEP的幅值。

主视眼效应指的是人类双眼在观察物体时,并非完全同步工作,其中一只眼睛(主视眼)的视觉信息会在大脑中占据主导地位。ESWA系统利用这一点,通过给用户呈现双频视觉刺激,并要求用户集中注意力于其中一个频率(即使用主视眼),从而实现更高效的解码。

该系统首先通过视觉刺激诱发用户产生SSVEP信号,然后采集用户的EEG数据,并利用小波变换对数据进行处理,以提取信号的频率和幅值信息。由于用户集中注意力于一个特定频率的刺激,这使得对应的SSVEP信号更为突出,从而提高了系统的解码精度和速度。

总的来说,ESWA系统通过结合主视眼效应和基于小波变换的信号处理技术,实现了高效且准确的SSVEP脑机接口解码,为脑机接口技术的应用提供了有力支持。
如何不发帖就快速得到金币道行
 
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个