第3章基于任务层面共享控制的脑控智能车辆

3.1引言
健康人可以驾驶车辆到达期望的目的地，但是对于肢体残障人而言，驾驶车辆是一个极难完成的任务。为了帮助此类人群，日本本田公司设计了Franz系统［1］。该系统允许残障人通过机械结构，只用脚部运动实现对转向盘的控制。Wada和Kameda设计了一款使用操作杆控制速度和方向的车辆，只需要残疾人能够进行手部操作［2］。Murata和Yoshida设计了一款基于手势的方向控制方法，同样要求使用者能够进行部分的肢体运动，不同于前者的是该方法不需要有足够的力量对外部设备进行操作［3］。
然而，这些操作方法并不适用于完全丧失肢体操作功能的人。如何能够构建适合此类人群的车辆驾驶系统，扩大此类人群的活动范围，成为一个重要的研究问题。BCI能够通过解读用户的脑电信号获得其控制意图，这将能够帮助残障人表达自己的控制意图。考虑到无人驾驶车辆技术的逐渐趋于成熟［4］，本章提出基于任务层面共享控制的脑控智能车辆。首先，通过基于BCI的人车接口系统(目的地选择系统)选择驾驶员期望的目的地。然后，将该目的地传输给智能导航系统，由智能导航系统实现对无人驾驶车辆的控制。本章也对提出的脑控智能车辆目的地选择系统从性能分析以及实际应用等方面展开分析研究。
3.2基于任务层面共享控制的脑控智能车辆的系统结构
基于任务层面共享控制的脑控智能车辆的系统结构如图3.1所示。用户界面用来显示目的地选项，在用户利用基于BCI的目的地选择系统选择完目的地之后，由车辆自主导航系统控制车辆到达相应的目的地。


图3.1基于任务层面共享控制的脑控智能车辆的系统结构


为了构建合理的用户交互界面，减少其对驾驶员操控车辆的影响，本章设计了一种基于抬头显示系统的用户界面。
3.3基于抬头显示系统的用户界面
抬头显示器(head up display，HUD)，又称平视显示器，是普遍运用在航空器上的飞行辅助仪器，是60年代出现的一种由电子组件、显示组件、控制器、高压电源等组成的综合电子显示设备(见图3.2)。它能将飞行参数、瞄准攻击、自检测等信息，以图像、字符的形式，通过光学部件投射到座舱正前方组合玻璃上的光/电显示装置上。飞行员透过组合玻璃观察舱外景物时，可以同时看到叠加在外景上的字符、图像等信息。投射焦距位于成像组合玻璃前方，使飞行员几乎不用改变眼睛焦距，即可方便地随时察看飞行参数，可视度也不会受到日光照射的影响。过去，飞行员在空战中，需要交替观察舱外目标和舱内仪表，易产生瞬间视觉中断，由此，会导致反应迟缓、操作失误，并有可能贻误战机，采用平视显示器可克服这一缺点。


图3.2机载抬头显示系统


20世纪80年代末，HUD的特性被当时日渐重视安全性的汽车制造商看中(见图3.3)。1988年，HUD作为一项安全特性出现在通用旗下的奥兹莫比Cutlass Supreme车型的选装清单上。随后几年，民航开始全面普及HUD，再次引发了技术热。终于，奔驰、宝马、奥迪等豪华车型开始关注HUD技术，使其成为各家的卖点。2003年，宝马公司成为欧洲第一家使用HUD技术的汽车公司。


图3.3车载抬头显示系统


目前可用的商用抬头显示系统，可以显示常用的提示信息，但并没有针对人机交互的交互界面，尤其是对于脑机交互系统，更没有易于编译的抬头显示系统。常用投影仪存在投影角度的问题，


图3.4抬头显示系统的构想图


无法实现短距离大范围的界面投影。基于以上问题，本章根据光学反射原理搭建基于抬头显示系统的脑控系统，增加光学投影设备的光路距离。图3.4是抬头显示系统的构想图，投影设备将需要投射的信息，通过两路反射，到达HUD光反射膜(半反半透膜)上。

图3.5是图3.4投影显示的光路图。通过反射镜面4和反射镜面3实现将来自投影设备的刺激信息，反射到反射贴膜1上，能够有效地降低投影设备5与反射贴膜1之间的距离，降低视觉刺激显示系统的体积，提高其便携性。
显示系统的结构参数需要根据图3.5中的投影光路进行设置，进而可以保障投影显示的有效性，具体的设定规则如下：


图3.5抬头显示系统的光路图


(1) 为了使投影设备5的刺激信息能够完全在反射贴膜1上显示，需要反射镜面4的镜面高度X满足投影距离为D(投影设备5与反射镜面4间的距离)的要求。反射镜面4的镜面宽度同样需要满足对应投影距离为D的要求。如果投影设备5为投影仪，则可以根据投影仪本身的参数设置进行设计； 如果投影设备5为其他发光体（如高亮度的LCD屏），则需要满足该屏信息能够在限定的距离范围内显示在反射镜面4上。
(2) 由于反射镜面3是接收反射镜面4反射的信息，因此，在位置关系上其受到投影设备5投影到反射镜面4的信息反射角度的影响，而反射镜面3与反射镜面4的相对距离会影响信息反射到镜面3的反射效果。因此，在投影设备5和反射镜面4的具体位置和尺寸固定的条件下(以反射镜面4垂直支撑底座6为例)，需要反射镜面3的倾斜角度β(反射镜面3与底座6的夹角)和反射镜面3的镜面高度Y满足以下关系：



Y≥X－Ltanθcos(90°－β)+X－Ltanθcos(90°－β)sin(90°－β)+Lsin(90°－α)sin(α+β－90°)

=X－Ltanθsinβ+X－Ltanθtanβ+Lcosα－cos(α+β)(3.1)
其中



α=arctanDtanθ+XD

反射镜面3的高度Z必须满足：


G≤Z≤X′+Ltanθ(3.2)
式中： X′为反射镜面4的高度(反射镜面4下边缘距离支撑底座6的距离)； G为投影设备5的垂直高度； α为来自投影设备5的光线与反射镜面4最高点的夹角； θ为投影设备5与支架6之间的夹角； L为反射镜面3下边缘与反射镜面4的水平方向距离。
(3) 反射贴膜1的显示信息来源于反射部分中的反射镜面3，因此，在反射镜面3的具体位置与尺寸确定之后，反射贴膜1的位置以及尺寸也必须满足一定的关系：



R≥Ysin(90°－ζ)sin(90°－β+ζ+ε)+Mcos(90°+ζ－β)－Ysin(β－ε)sin(90°－β+ζ+ε)sin(90°+2β－ζ－δ)sin(β－ε+δ)

=Ycosζcos(β－ζ－ε)+Msin(β－ζ)－Ysin(β－ε)cos(β－ζ－ε)sin(ζ+δ－2β)sin(β－ε+δ)(3.3)
其中



α=arctanDtanθ+XD

δ=α+β－90°

ζ=90°－β+θ
式中： M为反射贴膜1的下边缘与反射镜面3下边缘的水平距离； ζ为光线经过反射镜面3下边缘的发射角度； ε为反射贴膜1的显示镜面与支架6的夹角； δ为光线由反射镜面4发射至反射镜面3的上边缘与反射镜面3的夹角。
反射贴膜1的高度N必须满足：  



N≤Z+Mtan(ζ+90°－β)

=Z+Mcot(β－ζ)(3.4)

(4) 在反射贴膜1上显示的刺激信息的接收者为用户，因此需要将其设置在用户视野的正前方，以利于用户的使用，反射贴膜1与使用者位置的关系为



2Hsinεtan≤R(3.5)
式中： ε为反射贴膜1的显示镜面与支架6的夹角； 2为用户的视角； H为反射部分1的中线位置与用户之间的水平距离。反射贴膜1的显示镜面可以根据具体用户的需求进行一定弧度的设计，但整体仍然需要满足以上的要求。
本系统的各个模块之间的联接关系必须满足以上的几何关系，并通过联动装置实现，在其中一个模块位置改变的情况下，其他模块也随着自动调节。
该系统以支架6为基准，反射镜面4根据投影设备5的参数设计尺寸，在反射镜面4和投影设备5固定的情况下，根据式(3.1)和式(3.2)中的关系确定出反射镜面3的位置与尺寸； 并由式(3.3)和式(3.4)实现反射贴膜1的随动。式(3.5)作为反射贴膜1的约束条件存在，也是反向自动调节该系统的基础，使用者可根据自己的需求调节反射贴膜1，反射贴膜1通过随动装置实现反射镜面3在限制条件式(3.1)~式(3.4)下随动，使用户能够方便地实现对该系统的调整。对于水平方向的尺寸设计，根据投影的水平尺寸和垂直尺寸的比例，参照垂直方向的尺寸同比例地设计水平方向的尺寸。
3.4基于BCI的目的地选择系统
3.4.1BCI模式选择

由于在选择目的地的时候车辆是静止状态，不用考虑车辆运动中可能出现的危险状态，因此，系统对响应时间没有过高的要求，但从正确完成任务的角度考虑，系统需要具有很高的准确率。故基于BCI的目的地选择系统中脑电模式的选择依据为高准确率、合适的响应时间。
由第2章中的总结可知，三种常用的脑机接口模式中准确率比较高的是P300 BCI和SSVEP BCI，两者的准确率在一定条件下可以超过90%，而ERD/ERS BCI的准确率却要远低于前两者，并且需要长时间的训练； 相比SSVEP BCI，P300 BCI可以进行多项选择，而SSVEP受限于选择频域范围的限制，更适用于较少控制量输出的控制。因此，P300 BCI更适合进行目的地的选择。
3.4.2视觉刺激
本书中，9个字符组成的3×3矩阵作为P300的刺激界面显示在HUD显示屏上，如图3.6所示。每一个字符(刺激)代表一个预期的目的地，


图3.6基于P300的目的地

选择刺激界面

在实际使用时，每一个刺激也可以用目的地的名称代替。每一轮中，所有的9个字符逐一按照随机顺序闪烁，每一次闪烁持续125 ms，每两个闪烁字符之间间隔15 ms，每一轮持续的时间为1245 ms(125 ms×9+15 ms×8)，两轮之间间隔15 ms。当用户期望到达一个目的地时，用户通过注视该目的地对应的字符诱发相应的脑电信号，BCI通过解析这些信号获得用户的意图。
3.4.3BCI算法
由3.4.1节的分析可知，基于BCI的目的地选择系统选用P300 BCI进行目的地选择，基于第2章中分析的结果，本书采用主成分分析（PCA）的方法，实现对脑电信号的特征选择； 利用线性判别式分析（linear discriminant analysis,LDA）方法，实现对特征信息的处理，获得期望的目的地。具体的算法流程见图3.7。


图3.7BCI算法流程图


1. 脑电采集
通过SYMTOP生产的脑电信号放大器(见图3.8)采集P300研究常用的Fz、Cz、Pz、Oz、P3、P4、P7和P8八个通道的脑电信号进行处理和分类(具体位置见图3.9)。参考电位采用左右耳垂电位的平均值(图3.9中的A11和A12分别代表左右耳垂)。脑电放大器的初始参数设置为： 采样频率为1000 Hz，设定50 Hz的工频陷波处理以及0.5~30 Hz的带通滤波处理，头皮和脑电电极之间的阻抗限定为10 kΩ以下。


图3.8UEA16B脑电放大器




图3.9采集脑电信号的大脑区域位置


为了能够获得更有利于分类的脑电信息，对采集的脑电信号进行预处理： 通过降采样的方式将脑电信号的频率降低为500 Hz，减少处理的数据量； 通过带通滤波方式滤除0.5 Hz以下以及15 Hz以上的脑电信号，避免非P300信号的干扰。

2. 脑电信号处理
P300电位的一次出现是很微弱的，在处理这些信号的时候，通常需要对多次同类P300电位进行叠加以便改善该类信号的信噪比(signaltonoise ratio,SNR)。基于P300电位产生的原理，选择靶刺激出现之后的512 ms的数据作为分析的脑电数据特征信息。因此，每一个通道的特征信息为



xj=［xj(1),xj(2),…,xj(i),…,xj(kP)］(3.6)
式中： xj表示第j个通道的特征信息； xj(i)表示第j个通道对应P300电位的第i个特征； kP=512。
根据前面的预处理过程，通过式(3.7)对各个通道的信息进行降维处理：


xjd(l)=xj(2i)(3.7)
式中： xjd(l)表示的是降维之后第j个通道对应P300电位的第l个特征。
最终获得了J个通道的特征信息，构建了P300电位的特征：


X′=［x1d,x2d,…,xJd］T，J=8(3.8)

因此，P300电位的特征由8个通道共计2048个特征信息构成。但是如果用这些特征进行分类，会因为维数过高而陷入维数灾难，故需要通过处理提取这些特征中的主要成分并进行分析。本书采用主成分分析(PCA)方法，根据式(3.9)获得能够体现主要信息的特征成分作为模式识别的分类特征：


XP=ZX′(3.9)
式中： Z=z11z12…z1p
z21z22…z2p

zm1zm2…zmp表示的是特征主成分的权重矩阵，其中m表示主要成分的个数，p表示原特征的特征维度(即2048)。
主成分分析方法能够将特征空间转化为由相互之间独立的成分构建的正交空间，而这些相互独立的变量被称为主成分。通常选择最高特征值作为新的特征信息，并能够表征原有特征的大部分信息。因此，本章在PCA分析之后，通过选择最高的NP(本章NP=50，也即m=50)个特征值作为新特征进行分类，这些新特征包含原有特征的95%的信息。
因此，P300 BCI分类器的输入是一个NP维的特征信息，也可以表示为


XP=［x(1),x(2),…,x(i),…,x(NP)］T(3.10)
式中： x(i)表示的是经过PCA后的第i个特征，也即第i个主成分。
由第2章的分析可知，线性判别式分析(LDA)方法被广泛应用于P300 BCI的分类识别。本书采用LDA方法构建分类器，该分类器可以表示为


y=w*TX(3.11)
式中，w*是由Fisher判定式JF(w)获得的。JF（w）的表达式为


JF(w)=wTSbwwTSww(3.12)
式中： Sb表示类间离散度矩阵； Sw表示类内离散度矩阵。
w*的表达式为



w*=argwmax［JF(w)］(3.13)
即w*是使JF(w)最大的w值。
根据刺激的设置可知，目标刺激P300的识别是要将其从所有9个刺激对应的脑电信号识别出来，根据LDA模型即式(3.11)，不同的刺激将分别对应一个函数值，根据这些函数值，选择最大函数值对应的刺激作为目标刺激，即识别结果。
3.5实验
3.5.1实验平台


基于任务层面共享控制的脑控智能车辆平台包含三部分(见图3.10)： ①基于抬头显示系统(HUD)的用户界面(包含显示在挡风玻璃上的脑控刺激信息)；  ②脑机接口模块(包括脑电信号采集、信号处理和分类)； ③车辆及虚拟场景(包括用于支持控制模型、3D驾驶场景、虚拟车辆和BCI数据采集处理的计算机通信系统)。


图3.10基于任务层面共享控制的脑控智能车辆平台


车辆及虚拟环境由MATLAB/Simulink实现。Simulink虚拟现实模块库中的VR sink模块，不仅提供了对虚拟现实的显示及与Simulink交互的支持，而且还提供了对虚拟现实语言VRML的支持，可以用它来创建、编辑、修改虚拟现实仿真环境。车辆及场景的构建包括以下步骤。
1. 车辆控制模型构建
首先，利用TCP/IP Receive模块获取信号处理和分类识别系统识别出的控制指令(期望达到的目的地地点)； 然后，由控制模块将目的地的位置信息以及导航信息传输给VR Sink模块，模拟智能车辆的自主导航功能(见图3.11)。


图3.11MATLAB/Simlink车辆目的地选择系统框架


考虑到基于Simulink的仿真属于伪实时仿真，其仿真时间并不与实际时间同步，而与机器执行速度和模型复杂度有关。 MATLAB提供了一个实时工作环境(real time working，RTW)用于将Simulink模型转化成C程序，在外部模式下这个C程序是可以和Simulink进行数据交换的。如果在C程序中加入时钟中断，就可实现Simulink下的实时仿真，该方法的实现比较复杂。本书采用一种简单易行的方法，该方法采用Simulink IOlib硬件输入输出模块库(IOlibHardware Input/Output Library for MATLAB and Simulink)［5］，并将对应库文件导入MATLAB，然后在Current Directory里双击IOlib.mdl文件，打开IOlib库浏览器，拖入RTCsim模块即可实现仿真的实时性要求。
2.  3D驾驶场景构建
采用虚拟现实语言VRML建立3D虚拟驾驶场景。VRML语言格式是一般文本格式，所以使用任何纯文本编辑器都可以打开VRML文件并进行编辑，最常用的编辑器有ParallelGraphics公司开发的VRMLpad。在这个编辑器中，文件的第一行“#VRML V2.0 utf8”会自动地写上，这是VRML文件的文件头，它是使用VRML 2.0版的规格、UTF8的字符集合来完成的［6］。但使用这种方法构造复杂的三维物体，需要编写大量的VRML代码，这个工作非常繁琐。另外，可以通过VRML构造器VRealm Builder 2.0编辑VRML语言，VRealm Builder 2.0是一个强大的三维物体构造工具包，它生成的三维物体和虚拟世界可以用支持VRML的浏览器来观察，图3.12是VRealm Builder 2.0的主界面。


图3.12VRML构造器VRealm Builder 2.0的主界面


VRML语言三维建模存在计算复杂、不易于操作的问题，但同时具备兼容多种三维建模软件数据的优势，如： UG、3ds MAX等软件构件的可视化三维模型可以直接转化为VRML可以读的文本文件，并在VRML语言中进行编译。因此本书采用3ds MAX构建道

第1章脑控智能车辆概述

1.1智能车辆

1.1.1智能车辆的定义

1.1.2智能车辆的组成

1.2脑机接口

1.2.1脑机接口的定义

1.2.2脑机接口的组成

1.3脑控智能车辆

1.3.1脑控智能车辆产生的背景

1.3.2脑控智能车辆的定义和意义

1.3.3脑控智能车辆的组成

1.3.4脑控智能车辆的分类

1.4脑控智能车辆的展望

参考文献

第2章脑机接口技术

2.1引言

2.2脑电信号与脑机接口范式

2.2.1脑电信号简介

2.2.2典型脑机接口范式

2.2.3其他脑机接口范式

2.3脑电信号采集及预处理

2.3.1大脑功能分区

2.3.2脑电信号采集

2.3.3脑电信号预处理

2.4脑电信号特征

2.4.1时域特征

2.4.2频域特征

2.4.3时频特征

2.4.4空间域特征

2.4.5脑网络特征

2.5脑电信号特征选择和提取

2.5.1χ2特征选择

2.5.2AUC特征选择

2.5.3顺序前向浮动搜索算法

2.5.4主成分分析特征提取

2.6脑电信号分类算法

2.6.1Fisher线性判别法

2.6.2支持向量机

2.6.3人工神经网络

2.6.4卷积神经网络

2.6.5胶囊网络

参考文献

第3章基于任务层面共享控制的脑控智能车辆

3.1引言

3.2基于任务层面共享控制的脑控智能车辆的系统结构

3.3基于抬头显示系统的用户界面

3.4基于BCI的目的地选择系统

3.4.1BCI模式选择

3.4.2视觉刺激

3.4.3BCI算法

3.5实验

3.5.1实验平台

3.5.2被试者及实验条件

3.5.3实验过程

3.6结果分析

3.6.1模型测试轮数分析

3.6.2模型训练轮数分析

3.6.3通道分析

3.7总结

参考文献

第4章基于混合BCI的脑控车辆目的地选择系统

4.1引言

4.2脑控车辆目的地选择系统

4.2.1模式选择

4.2.2基于混合BCI的目的地选择系统结构

4.3刺激及BCI算法

4.3.1视觉刺激

4.3.2BCI算法

4.4系统性能模型

4.4.1系统准确率计算模型

4.4.2系统限制条件

4.4.3完成任务的时间计算模型

4.5实验

4.5.1被试者

4.5.2实验过程

4.5.3实验条件

4.6结果分析

4.6.1SSVEP BCI性能分析

4.6.2系统结果分析

4.7总结

参考文献

第5章环境因素对脑控车辆目的地选择系统的影响分析

5.1引言

5.2实验设计

5.2.1实验条件

5.2.2实验过程

5.3环境因素对系统性能的影响

5.3.1系统性能

5.3.2主观评价

5.4影响规律的生理学机理

5.4.1EEG表征

5.4.2P300幅值变化

5.4.3P300潜伏期变化

5.4.4讨论

5.5总结

参考文献

第6章基于运动控制的脑控智能车辆

6.1引言

6.2脑控智能车辆的系统结构

6.3基于BCI的人车接口系统

6.3.1BCI

6.3.2接口模型

6.4系统性能分析

6.4.1实验平台

6.4.2实验设计

6.4.3脑控车辆的性能分析

6.4.4脑控车辆的驾驶训练分析

6.5总结

参考文献

第7章脑控智能车辆运动控制系统建模

7.1引言

7.2脑控智能车辆运动控制系统模型

7.2.1基于QNMHP的脑控驾驶员模型

7.2.2BCI模型

7.2.3接口模型

7.2.4道路和车辆模型

7.2.5脑控车辆模型

7.3模型验证

7.3.1实验

7.3.2仿真

7.3.3模型验证

7.4结果分析

7.4.1仿真条件

7.4.2仿真结果及分析

7.4.3更新量的选择分析

7.5总结

参考文献

第8章脑控智能车辆运动的共享控制方法

8.1引言

8.2基于模型预测控制的共享控制方法

8.2.1共享控制系统结构

8.2.2辅助控制器的设计

8.3辅助控制器的仿真分析与参数优化

8.3.1仿真平台

8.3.2MPC辅助控制器的参数分析

8.3.3性能测试

8.4辅助控制器的实验验证

8.4.1实验平台及实验过程

8.4.2实验结果

8.5总结

参考文献

第9章紧急状况下驾驶员制动意图的脑电表征

9.1引言

9.2实验

9.2.1实验条件

9.2.2实验过程

9.3脑电表征

9.3.1事件相关电位分析

9.3.2功率谱特性

9.3.3脑连通性分析

9.4总结

参考文献

第10章紧急状况下驾驶员制动意图的脑电检测

10.1引言

10.2特征选择

10.3不同类型特征分类性能评价

10.3.1ERP特征

10.3.2功率谱特征

10.3.3功能性脑网络特征

10.3.4效用性脑网络特征

10.3.5各类特征分类性能对比

10.4基于最优特征的解析模型分析

10.5基于脑电解析模型的脑控驾驶员紧急制动意图检测系统

10.5.1伪在线测试

10.5.2脑控驾驶员紧急制动意图检测系统伪在线测试

10.6融合环境信息与脑电解析模型的驾驶员紧急制动意图检测系统

10.6.1环境信息与脑电解析模型的融合方法

10.6.2基于融合系统的驾驶员紧急制动意图检测系统伪在线验证

10.7基于嵌入式系统的驾驶员制动意图检测平台

10.8融合环境信息和脑电解析系统的紧急制动检测系统的性能测试

10.8.1在线实验范式

10.8.2实验结果及分析

10.9总结

参考文献