基于前臂肌电的手势识别智能交互系统

在很多场景里，人机交互仍然依赖鼠标、键盘、触摸屏或摄像头。但这些方式并不总是自然：比如演讲翻页、游戏控制、辅助康复、人机协作，甚至手部不方便操作时，传统交互都会受限。

我们的初始愿景是：能不能用人体自身的肌肉信号，做一个低成本、可穿戴、可扩展的手势交互系统？

于是我们基于 MyoWare 肌电传感器和 Seeed XIAO nRF52840，搭建了一个从 肌电采集、蓝牙传输、数据标注、机器学习识别，到系统按键映射和游戏交互 的完整闭环。用户只需要在前臂贴上电极，做出握拳、手掌下划、双击等动作，系统就能识别意图，并映射为空格、方向键等控制指令。

目前项目已经完成硬件采集、蓝牙通信、桌面端 GUI、Android 波形显示、传统机器学习模型、实时手势预测，以及一个横版闯关小游戏演示。现阶段四分类 RandomForest 模型已经能完成实时控制，后续我们会补充更多数据、优化 1D-CNN，并向多通道手环和康复/无障碍交互方向扩展。

我们的目标不是做一个单纯的传感器实验，而是做一个真正能被普通人使用的 低成本肌电交互入口。

本项目的创新点在于把“肌电识别”从单一算法实验推进到完整交互系统。

传统手势识别常依赖摄像头、IMU 或商业肌电手环，存在隐私、光照、成本和设备封闭等问题。我们采用低成本单通道肌电前端，从零搭建了一个开放式系统：用户的肌肉电信号经过采集、蓝牙传输、实时可视化、数据标注、机器学习分类，最终转化为系统按键和游戏控制。

创新不只在硬件，而在闭环：

从 MyoWare 肌电前端到 XIAO 蓝牙传输，实现低成本可穿戴采集。

自研桌面端 GUI，可实时显示波形、标注数据、训练模型并映射按键。

构建手势数据集，比较 RandomForest、SVM、Logistic Regression 和 1D-CNN。

加入 rest、transition、置信度阈值、Top1-Top2 差值和状态机，解决实际交互中的误触发问题。

做出横版闯关小游戏，把肌电识别从“看波形”推进到“可玩、可演示、可交互”。

一句话概括创新：

我们不是只识别肌电，而是把肌电变成了一个可以控制数字世界的低成本交互接口。

项目面向的是一个明确问题：现有交互方式并不总是适合所有人、所有场景。

例如：

演讲者希望无需手持翻页笔即可自然控制 PPT。

游戏或训练场景希望获得更自然的身体输入。

康复训练中，希望把肌肉活动转化成可视反馈，提升训练积极性。

行动不便、手部受限或特殊人群，可能需要替代鼠标键盘的交互方式。

摄像头手势识别存在隐私和环境依赖，而肌电信号更私密、更贴近人体意图。

本项目的社会价值在于：

低成本：用开源硬件和通用传感器实现肌电交互原型，降低进入门槛。

隐私友好：不需要摄像头，不采集面部或环境图像。

可扩展：可用于 PPT 控制、音乐播放、小游戏、康复反馈、无障碍输入。

可教育：适合作为生物电、嵌入式、机器学习、人机交互的综合教学项目。

可持续迭代：从单通道验证开始，未来可扩展到多通道肌电手环。

项目解决的不是“能不能识别一个动作”这么小的问题，而是探索：

人体肌肉信号能否成为下一代轻量级、低成本、可普及的人机交互方式。

目前项目已经完成了从硬件到软件的完整链路。

硬件部分：

MyoWare Muscle Sensor 21625 采集前臂肌电。

Seeed XIAO nRF52840 Sense Plus 读取模拟信号。

通过 BLE 蓝牙发送实时肌电数据。

使用充电宝供电，提升信号稳定性。

软件部分：

Arduino 程序读取 ADC 并通过 BLE 发送。

桌面端 GUI 支持串口/BLE 输入、波形显示、窗口标注、CSV 导出。

Android APP 支持连接 XIAO 蓝牙并显示实时波形。

传统机器学习模型完成四分类识别：rest / fist / palm_down_swipe / pinch_double_tap。

后处理逻辑包括置信度阈值、Top1-Top2 概率差、状态机、冷却时间和快速 pinch 触发。

已实现系统按键映射：握拳为空格，双击为方向键上，下划为方向键下。

已完成一个横版闯关游戏，用肌电手势控制人物换道、躲避障碍、获取金币。

当前进度可以概括为：

硬件能采、蓝牙能传、GUI 能标、模型能训、手势能控、游戏能玩。

这个项目的过程具有较强的开源和可复现价值。

我们完整记录了从硬件焊接、电极贴放、信号排查、GUI 搭建、数据采集、模型训练、APP 开发到游戏演示的全过程。项目中的 Arduino 程序、Python GUI、Android APP、训练脚本和小游戏都可以整理成开源仓库，方便其他学生、创客或研究者复现。

后续计划：

整理硬件连接图和接线说明。

开源数据采集 GUI 和训练脚本。

提供示例数据集和模型训练教程。

发布演示视频和使用文档。

邀请更多用户采集数据，提升模型泛化能力。

我们的目标是让这个项目不只是一次比赛作品，而是成为一个可被学习、复现和继续扩展的肌电交互平台。

未来规划

短期：

补充 palm_down_swipe 和 pinch_double_tap 数据。

改进 transition 数据集，减少动作释放阶段误触发。

对比 300ms、400ms、500ms 不同窗口长度下的实时延迟和准确率。

优化游戏演示和 PPT 控制演示。

中期：

扩展到 2-4 通道肌电，提高不同手势区分度。

使用更成熟的 1D-CNN 或轻量 Transformer 模型。

将模型部署到手机端或边缘端，实现完全无线交互。

设计更稳定的可穿戴固定结构。

长期：

面向康复训练、无障碍交互、体感游戏和智能设备控制。

构建开放式肌电手势数据集。

做成一个低成本、可教学、可扩展的肌电交互套件。