帕金森患者康复疗效预估系统

前言#

这个项目的全称叫做基于 OpenHarmony 的帕金森病症多数据融合监测系统，是我在本科时参加李一浩老师的梅科尔工作室 ↗时所参与并负责的项目之一。由于之前需要保密的原因，关于这个项目的展示材料一直没办法对外公布，现在随着项目的发展与我们第一批老成员的离开，这个项目也慢慢走到了尽头。

我曾一直在想，该用什么样的一种形式去展示这个项目，让它即不张扬又不被埋没。因为它身上不仅承载着我们的付出，还有我们项目成员之间的友谊，以及我们那回忆起来还算美好的大学时光。对它的感情是复杂的，可能从一开始就没有把它只当成一个打卡式的任务或者一个“活”来对待吧。

终于，慢慢的，我想我找到了让它可以永远被记录，但又不那么受人瞩目的展示形式了——将它记录到我的博客里。我想那种对于这个项目的感情可能只是我一个人的臆想，因为我是一个爱活在回忆里的人，同时我又有着自由主义者的那种偏功利的心理状态。我希望这个项目可以再一次成就我，作为我的一个可以展示的闪光点。

把它写成一个作品集（介绍博客），不断有一个声音提醒我，好像如果我不记录下这个项目，它就要溜走了一样。但我仍然是拖到了现在才来真正去写它，去阐述它。那就来吧，用我好久没读过书而显得拙劣的文笔，来展示我这个即爱又艾的项目。

项目简介#

本项目是一个将大数据与物联网和现代医疗相结合的基于华为云 OpenHarmony 的帕金森病症多数据融合监测系统。该系统可以帮助帕金森轻症患者在家完成手颤抖动、手指弯曲、肌电信号等数据的采样，及时发现帕金森病情恶化趋势，实现疾病的早诊断、早治疗，提高了诊断效率，降低了医疗机构评估工作强度，减轻了患者经济与心理负担。

该项目基于华为云 IoT 的端侧规则引擎技术，通过 IoTDA 设置联动规则，基于 SQL 语句的规则引擎云端一键下发给设备，在设备之间通过 OpenHarmony 的分布式软总线，直接在端侧完成设备间的联动，降低网络质量的依赖，提高整体设备联动效率。此外将特征提取算子、滤波算子等云端算子一键下发至传感设备中，在端侧设备上就能完成无效数据的过滤和屏蔽。该项目通过华为云 IoT 设备接入云服务，不仅仅实现设备通过物模型的极简上云，还让设备具备主动“思考”的能力，从而大幅降低帕金森项目的开发工作量。

项目背景与痛点问题#

我国的帕金森患者 300 万以上，65 岁以上老人患者率高达 1.7% 。帕金森患者有抖、僵、慢、倒四大核心症状。静止性震颤、肌强直、运动迟缓、步态障碍，给患者和家人带来极大的痛苦。因此我们团队在想有没有一种方法将我们所学到的技术用于这方面，帮助医生患者进行评估。

目前市面上的对帕金森病检测的设备很少，且功能单一。不能结合医疗实现医生对患者日常运动状态的监控。已有的评估方案是对帕金森病的运动障碍评估，这种评估基于病史信息、患者自述和神经科医师的临床检查，并且借助统一帕金森评估量表、改良的运动迟缓评估量表进行评估。此类方法虽然简单易用，全面地反映患者的病情变化，但是也存在着一些不足。第一，准确性差，因为通过医师等评估，依赖主观经验。第二，及时性差，临床评估只能针对患者的当前状态，日常状态无法反映。

此外还有基于计算机视觉的方法，主要是利用摄像机和光学运动捕捉系统记录患者的运动过程，计算运动学参数，虽然精度较高，但是主要应用于临床试验。关于惯性传感器采集患者的运动信号，从而对症状进行分析和评估。但是存在数据的单一，造成误判等情况。

市面上帕金森疾病检测产品，存在以下痛点:

1. 检测过程复杂

2. 前期症状不明显

3. 患者线下数据收集难

开发挑战#

我们团队在开发时遇到的挑战:

1. 私有协议开发

2. 数据量庞大冗余

3. 场景数据杂乱

4. 多设备的数据联动

基于以上我们团队结合自身的技术力量，针对上述的问题，使用华为云 IoT 端侧规则引擎，实现联动规则云端下发、端侧快速执行，提高设备联动效率，提出了一套基于 OpenHarmony 结合物联网、数据交叉融合算法等技术构建的可穿戴帕金森病症多数据融合监测系统。和市面上相比，我们产品可以实现对帕金森患者的手部震颤加速度数据、肌电信号、手指弯曲的信号和压力数据进行多数据采集，并且采用数据融合技术，实现高准确率的评估。而且在后期，我们可以实现日常情况的随时检测和评估，方便患者的日常使用。

项目架构#

帕金森病运动迟缓量化测评系统主控方面是由 BearPi-HM Nano 组成。通过 MPU6050 (小熊派套件 E53_SC2 模块)、弯曲传感器、肌电传感器以及压力传感器采集手部数据。结合华为云 IoT 平台 ModelArts 深度学习平台进行交叉验证分析，在预测数据集上取得最好性能的患者模型。并结合 UPDRS、H&Y 量化评估制定了帕金森全定评估量表，对患者病情程度进行判断。将数据以 MQTT 协议通过 WiFi 传输到华为云 IoT 平台，结合物联网技术以及数据交叉算法，进行数据融合。数据传递到 IoT 平台后，通过 Django 后台存储数据到数据库，并提供给前端调用的接口，实现将数据发送到手机或平板终端，实现智能化设计。通过鸿蒙App实现患者日常状态的数据记录和展示，能够及时分析病情并及时调整。项目的架构如图:

该项目基于华为云 IoT 的端侧规则引擎技术，通过 IoTDA 设置联动规则，基于 SQL 语句的规则引擎云端一键下发给设备，在设备之间通过 OpenHarmony 的分布式软总线，直接在端侧完成设备间的联动，降低对网络质量的依赖，提高整体设备联动效率。此外将特征提取算子、滤波算子等云端算子一键下发至传感设备中，在端侧设备上就能完成无效数据的过滤和屏蔽。该项目通过华为云 IoT 设备接入云服务，不仅仅实现设备通过物模型的极简上云，还让设备具备主动“思考”的能力，从而大幅降低项目的开发工作量。

帕金森数据采集模块可以实现对帕金森手部的相关数据进行采集，包括手部禁止性震颤、手指弯曲情况、手部肌电信号以及手指压力等数据，实现无线远程采集。在患者日常生活中，可以使用采集设备进行日常采集和评估。内部由加速度 MPU6050 (小熊派套件 E53_SC2 模块)、弯曲传感器以及肌电传感器组成，主控方面是由 BearPi-HM Nano 组成，穿戴节点为手腕、手指以及手臂，用多个传感器来采集全方位的数据，并且搭载 WiFi 模块，硬件具有无线传输、工作时间长、微负荷、便携等特点。

数据分析模块主要包括预处理和 ModelArts 平台自动学习分析。对于采集到的患者诸多手部数据中，加速度传感器采集数据特征较为显著，因为我们着重分析加速度等数据，并且进行预处理。在处理过程中，我们通过加速度传感器、肌电传感器、弯曲传感获取手部震颤数据以及表面肌电信号等特征数据使用 IIR 滤波器进行滤波去除异常数据、滤波滤趋势、滤掉重力加速度，进行点积运算，对数据进行归一化处理，采用分布式容合的数据处理方式最终获得真正有代表性的数据。本团队不仅对数据进行预处理和日常的数据记录，而且还使用深度算法挖掘更深的信息，包括患者的病情预估。在本项目中，团队使用华为 AI 平台 ModelArts 作深度学习训练的平台，利用自动学习功能，对数据进行自主分析。

数据展示部分主要是通过鸿蒙 App 和网页端实时分析并展示分析结果。获得待推送给用户的数据，实时分析数据并得出当前病情状态分析结果。再结合患者历史数据，基于大数据综合分析，第一时间分析并推送科学的疗养方案和就医建议。从而使用户居家也可以通过鸿蒙 App 实时了解自己的病情状态，及时获得疗养方案和就医建议，在日常中根据给出对应的训练方案来延缓病情的发展。解决不能及时发现病情变化导致病情快速发展，和医生不能全面了解患者病情状态导致诊断偏差的情况。

设计思路#

算法设计#

在算法设计上。我们基于华为云 IoT 平台，将特征值提取算子和滤波算子直接下沉到我们的 OpenHarmony 设备上，数据在端侧进行过滤和有效提取，然后数据上传至华为云 IoT 平台转发到 ECS 服务器识别，输入训练好的深度学习模型，得出帕金森病情分级情况。比如伸开一个手指的动作，至少要上传 100 条左右的数据，现在采用这种方式，整个的数据传输量减少 50%，提高数据传输的效率，降低了对于网络的依赖。数据模型也更加完整。

数据管理与后台#

帕金森康复数据传输和标注物模型设定。采用海思的 Hi3861 V100 作为主控芯片，基于 OpenHarmony 操作系统，通过华为云 IoTDA 设备接入服务实现数据的传输，采用 MQTT 协议，将加速度数据、弯曲传感器数据、肌电传感器数据和压力数据打包成 json 格式 WiFi 传输到华为 IoT 平台上。在华为云平台上实现帕金森康复手套的物模型建立。实现了平台的二次开发和一键导入。本项目的物模型包括加速度、角速度、压力、弯曲角度、肌电信号、训练时长等。

使用华为云 IoT 云平台的数据转发服务，实现数据转发到华为云 ECS 服务器，服务器端使用的是基于 Django 的 Web 应用框架，实现从数据采集到传输至云平台，再到 ECS 服务器，实现数据的持久化存储。

命令下发和算法下发实现通过平板调用华为云 IoT 平台下发和算子下发的 AP 接口，实现手指弯曲、手指捏合、手指震颤、手臂弯曲等范式动作的控制命令，并通过对应的传感器获取数据，另外将原先部署在云端的滤波算法下发到端侧设备中，实现了远程更新端侧算法和参数等。

范式动作测试方法#

由于设备在采集数据时，受到各种因素影响，如采集的环境、不同人群等，此类因素可能会造成数据集质量不高以及数据分析时造成不准确的情况。因此团队和河南省中医院展开合作，基于帕金森患者实际的症状表现情况分析，制定适用于 60 岁以上人群的范式动作测试方法，并且和本团队设计的可穿戴硬件相结合，实现在家庭环境下，进行数据采集和分析。

范式动作测试方法将根据每一个范式动作进行检测，按照手指弯曲检测、手指捏合检测、手部震颤检测、手臂弯曲的肌申信号检测为顺序执行整个范式动作。

实现原理#

产品基于 OpenHarmony 与华为云 IoT 端侧规则引擎，实现联动规则云端下发。通过使用华为云 IoT 的端侧规则引擎能力，将设备间的联动规则直接通过云端一键下发给设备，在设备之间通过 OpenHarmony 的分布式软总线，直接在端侧完成设备间的联动，降低网络质量的依赖，提高整体设备联动效率。

另外本产品是基于 ModelArts 自动学习结合全定评估量表的方式，实现帕金森病的康复情况监测，提出当前的就医建议，并且将结果实时展示给用户。并且设备结合物联网技术，使用 WiFi 和 4G 模块，实现了无线远程数据传输。此外我们对本产品的数据收集，设计了一套标准的范式动作测试方法，可以准确实现高质量数据采集。

通过压力传感器、弯曲传感器、加速度传感器以及肌电传感器，对帕金森手臂和手部的数据同时采集，并通过多源异质融合算法实现对帕金森病情的异常数据进行排查，如当帕金森患者的震颤频率小于 4Hz，触发肌电传感器二次识别患者是否处于静止性震颤状态。

应用场景#

目前帕金森患者无法对自身的病情进行有效的预防和监控。在日常生活中，只能到医院进行相关检查才能够给获取自行的病情。那么如何快速有效的获取帕金森患者的病情以及后期预控是迫切解决的问题。此外，医护人员需要借助互联网进行数据收集、传输、分析，给予患者以相对持续、无创便携的病情监控，提高医护人员的工作效率，节约了时间和成本。而且如果出现了问题，还可以直接反馈给医生进一步降低医疗成本，释放传统医疗资源。

因此使用穿戴式传感器设备，通过多传感器多方面检测患者运动状态数据，将得到的传感器数据送往数据处理中心进行交叉分析验证，并结合量化评估表达到对患者病情程度进行判断。从而在一定程度上可以预测以及监控帕金森病的具体发展情况。并且结合物联网，将数据推送到鸿蒙 APP 中，提供给患者以及医护人员随时查看。

1. 患者居家

2. 医院

3. 社区康养中心

4. 医疗科研机构

产品价值#

本作品主要用于采集帕金森患者日常运动状态数据并记录方便医生了解患者病情情况并及时给予康复建议。并目主要的客户来源是中老年人帕金森患者，并且有一定时间的患病经历。目的旨在解决早发现帕金森病的前驱症状，实现疾病的早诊断、早治疗。以及医生与患者突破时间，空间限制的交流，实现帕金森患者居家获得及时的医生康复建议。

基于以上我们团队结合自身的技术力量，针对上述的问题，使用华为云 IoT 端侧规则引擎，实现联动规则云端下发、端侧快速执行，提高设备联动效率，提出了一套结合物联网、数据交叉融合算法等技术构建的基于可穿戴传感器的帕金森病运动迟缓量化测评系统。和市面上相比，我们产品可以实现对帕金森患者的手部震颤加速度数据、肌电信号、手指弯曲的信号和压力数据进行多数据采集，并且采用数据融合技术，实现高准确率的评估。而且在后期，我们可以实现日常情况的随时检测和评估，方便患者的日常使用。

后记#