霍尼韦尔和HarmonEyes公司分别开发了基于人工智能的飞行员疲劳和认知负荷监测系统，旨在提升飞行安全。霍尼韦尔的系统通过摄像头和AI分析飞行员面部特征，检测疲劳状态；HarmonEyes则利用眼动追踪技术预测认知负荷过重，并计划实现自主干预功能。两家公司的技术已进入测试阶段，预计未来将应用于商用航空领域。
霍尼韦尔的飞行员状态监测解决方案利用摄像头数据和人工智能技术检测疲劳状态
霍尼韦尔的飞行员疲劳监测系统
飞行员疲劳一直是一个长期存在的安全问题，这促使人们开始探索如何管理驾驶舱内的工作负荷，以及如何利用技术来提供保障措施。英国航空公司飞行员协会在2013年进行的一项调查发现，有多达56%的飞行员曾在值班期间入睡；另有29%的受访者承认，他们曾醒来后发现副驾驶也在睡觉。
霍尼韦尔航空航天公司通过其为商用客机开发的“试点状态监测系统”来解决这一问题。该系统属于欧盟支持的SESAR-3项目的一部分，而SESAR-3项目的名称是“用于减轻工作负担、提升协作效率的数字辅助系统”（DARWIN）。
该系统将实时摄像头采集的图像与运用人工智能技术的软件相结合，用于检测和分析飞行员的面部表情以及任何可能的异常情况。据霍尼韦尔称，虽然与睡眠和嗜睡相关的功能已经达到了技术成熟度等级6，但检测飞行员是否丧失操作能力的相关功能预计也将在明年达到同样的成熟度水平。
在捷克布尔诺市该公司的研发中心举行的最近一次媒体发布会上，达尔文项目的高级软件工程主管博赫丹·布拉哈解释说，与汽车驾驶员相比，检测驾驶舱内人员是否出现嗜睡或丧失操作能力要困难得多。他指出，这是因为飞行员通常会将注意力从仪表盘上转移到其他任务上，而且他们拥有更大的活动自由度，甚至可以离开飞行器的操控装置。
霍尼韦尔所使用的技术通过单色摄像头实时监测面部特征，如眼睛的位置；同时每30秒就会分析一次眨眼频率、闭眼持续时间、打哈欠的次数以及头部的整体姿势等相关数据。随后，人工智能算法会根据这些数据判断飞行员是处于困倦状态、已经完全入睡，还是处于其他无法正常履行职责的状态。
在霍尼韦尔的比奇“博南扎”飞机、法尔科恩F900飞机以及波音757测试机上成功完成相关测试后，该项目的范围于2025年得到了扩展，现在也包括了巴西航空工业公司的E170客机。此外，还有某家不愿公开名称的航空公司一直在其A321飞机上对该飞行员监控系统进行测试；该系统有望在2026年“DARWIN”项目完成后正式投入实际使用。
HarmonEyes的认知负荷监测技术
12年前，亚当·格罗斯和梅利莎·亨法尔维共同创立了RightEye这家公司，旨在开发眼动追踪软件，将这项技术从实验室带入实际应用领域。如今，他们又成立了名为HarmonEyes的新部门。RightEye公司已向军队、政府机构、职业体育团体、医院以及医疗领域提供了数千台眼动追踪设备。然而，随着技术的不断发展，现在已经可以将无处不在的摄像头与人工智能工具结合起来，从而设计出新的眼动追踪解决方案。例如，RightEye公司的硬件设备结构过于复杂，无法在驾驶舱这样的封闭环境中使用；而智能手机的摄像头，甚至普通的单个摄像头，则完全能够满足这种需求。
格罗斯解释说，HarmonEyes软件开发工具包并不用于存储任何眼动追踪数据。由于该系统会每秒生成一次输出结果，因此它会立即删除上一秒的数据。“我们不会存储、收集或记录任何眼动追踪数据，”他说，“我们只是将输出结果提供给客户，是否需要从参与者或用户那里获取同意则由客户来决定，他们可以按照自己的意愿来使用这些数据。”
Gross解释说，通过其RightEye设备业务，HarmonEyes掌握了近1500万条关于眼球运动的数据记录。这些数据能够反映“基于表现的各种指标，比如认知负荷、疲劳程度，以及与大脑健康相关的状况，例如帕金森病和脑外伤。” “我们拥有这样庞大的数据集，可以用来训练人工智能模型。但真正的转折点在于：用于提取眼动信号的技术主要依赖于摄像头。十年前，进行这种检测需要专门的硬件设备；而现在，无论是电脑上的网络摄像头、手机、平板电脑，还是驾驶舱中的混合现实头显，这些摄像头都更加先进、速度更快、价格也更便宜了，我们完全可以从它们那里获取眼动数据。”
由此，人们利用人工智能开发出了三种与性能相关的工具，这些工具旨在解决认知负荷、疲劳以及晕动症等问题。Gross将认知负荷定义为“人们在执行某项任务时所需付出的脑力努力程度，并同时衡量他们应对意外情况或新问题的能力余量。”
人工智能的用处不仅在于分析眼动追踪数据，还在于构建预测模型。我们的目标并非在飞行员面临工作负担过重、在错误的时间专注于错误任务时，为他们提供即时的应对方案。“如果只是在你处于认知超负荷状态时才通知你——而驾驶飞机时陷入这种状态确实是非常危险的——那么那就为时已晚了，因为你已经处于超负荷状态了。”他说。
“我们所做的就是利用人工智能和时间序列数据分析来构建预测模型，从而能够预测出用户何时会陷入过载状态、出现高度疲劳，甚至患上运动病。这正是我们的竞争优势所在。”
了解到某人正朝着格罗斯所称的“问题状态”发展，便可以及时采取干预措施——最好是在认知负荷过重之前进行干预。“如果某人的认知负荷已经过重，就可以将决策权交给‘副驾驶’来处理，”他说。“也可以通过系统干预来发挥作用，比如触觉反馈、声音警告，或是由人工智能算法驱动的其他技术手段。具体该采用哪种干预方式，取决于当前的具体情况。但只要能提前察觉到这个人即将陷入问题状态，相关方就能及时实施干预措施，而干预方式也可以有多种选择。如果你能立即消除当前那种需要同时处理多项任务的情况，那么就能提升飞行员的心理承受能力和应对能力。”
在培训环境中，培训师可以选择让学员面临高认知负荷的情境，然后在总结讨论环节分析其中存在的问题，并对学员进行重新培训，以防止类似情况再次发生。
最终，HarmonEyes计划推出能够集成到检测系统中的人工智能代理，从而实现自主干预功能。这项技术的另一应用方式是利用相关数据来对比专家飞行员和新手飞行员的特征，这有助于优化培训及招聘流程。
进一步延伸这一理念，HarmonEyes能够准确判断一位经验丰富、未感到疲劳的飞行员在处于中等认知负荷状态时，会将视线投向驾驶舱内的哪个位置，从而确认他们是否能在恰当的时刻查看正确的仪表或显示屏。
HarmonEyes已经与NASA、军方、航空公司以及一级方程式赛车手的培训模拟项目展开了合作。
“我们真正能够创造价值的地方在于，让机载系统能够理解飞行员所处的具体环境及其面临的情况，”格罗斯说道。“这其实就是一种具有情境感知能力的人工智能。它能够理解周围的环境、需要完成的任务以及当前的状况，同时还能了解飞行员自身的情况。当这三者结合在一起时，就形成了真正的具有情境感知能力的人工智能。由此便可以想象到这种技术的价值了——它不仅能帮助飞行员发挥出最佳表现，还能避免灾难性事件的发生。”
