Приборостроение, метрология и информационно-измерительные приборы и системы
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
приборостроение,
метрология
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (177) 2021
и информационно-
измерительные
приборы и системы
УДК 621.317.619:004.5 А. А. Кабанов
DOI: 10.25206/1813-8225-2021-177-79-84
Омский государственный
технический университет,
г. Омск
Разработка системы
классификации жестов руки
на основе
сигналов электромиографии
В работе представлены результаты исследований сигналов электромиографии
и применение их для управления протезами. Составлена схема классификации
протезов верхних конечностей. Определены сигналы с потенциальной воз-
можностью выявления в них различных паттернов, отвечающих за жесты рук.
приборостроение, метрология и информационно-измерительные приборы и системы
Разработана программа обработки сигналов и их фильтрации с выбором типа
вейвлет-фильтра для получения результирующих паттернов движений рук
в программной среде LabView. Основным результатом выполнения програм-
мы является определение возможных жестов и выработка соответствующей
реакции для управления протезом.
Ключевые слова: электромиография, вейвлет-преобразование, фильтрация,
шум, цифровая обработка сигналов, протез, биоимпеданс, классификация
жестов.
Введение. Сегодня верхние конечности явля- Используя методы и механизмы, данные нам
ются важнейшими функциональными единицами природой тысячелетия назад, дополняя их совре-
в жизни человека. Строение человеческой руки, менными технологиями и исследованиями, появля-
есть результат долгого эволюционного развития. ется возможность воссоздать кисть руки, возмож-
К сожалению, происходят ситуации, в которых ности которой на сегодняшний день незначительно
человек может лишиться одной или обеих рук. Для уступают биологическому аналогу. Консолидация
дальнейшей и полноценной жизни ему необходи- знаний в областях техники и биологии позволяет
мо протезирование. В Российской Федерации более создавать устройства, бионические протезы, кото-
тысячи человек в год нуждаются в протезировании рые меняют грань между ограничениями и возмож-
по различным причинам: результат чрезвычайной ностями, между пределом человека и человеческим
ситуации, сахарный диабет и т.д., следовательно, потенциалом.
обеспечение человека устройством, способным При разработке подобных устройств существует
заменить его руку, является весьма актуальной ряд задач, которые необходимо решить, а именно 79
задачей. нестабильность сигнала, влияние артефактов дви-
жения, наличие биоимпеданса, также наличие раз- уровне при ослабление синфазного сигнала на ме-
личных шумов и помех, накладывающихся на сиг- сте записи, путем точного размещения биполярных
нал в процессе сбора. электродов вдоль оси сердца, если это возможно.
Постановка задачи. Основными трудностями В связи с перекрытием частотных спектров сигна-
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (177) 2021
в развитии области протезирования верхних ко- лов ЭКГ и ЭМГ и их относительных характеристик,
нечностей являются нехватка методов и решений таких как различная временная форма, очень труд-
в конечном продукте, связанным с правильным вос- но удалить помехи ЭКГ из сигнала ЭМГ. Загрязне-
произведением мелкой моторики рук. ние ЭКГ только визуально опознаваемо ниже 25 %
Процесс функционирования большинства со- максимального произвольного сокращения (МПС)
временных протезов основан на неинвазивном ме- ЭМГ.
тоде восприятия сигналов от человеческого тела В нашу задачу входит аппаратная и программная
[1]. Данные сигналы, несущие полезную информа- реализация интерфейса для регистрации импульсов
цию, — это сигналы электромиографии. Ограниче- с мышцы человека (ЭМГ сигналов) [2, 3].
нием в получении сигналов данным методом явля- Если решить проблему фильтрации, то появляет-
ется малое количество точек крепления миоэлек- ся потенциальная возможность идентифицировать
трических контактов. в сигналах различные паттерны сигналов, отвечаю-
Для записи ЭМГ неинвазивные электроды при- щие за жесты рук, что и является основной задачей
кладываются к коже субъекта. Было обнаружено, системы управления протезом.
что электроды, сделанные из серебра/хлорида се- Теоретические предпосылки. Электромиогра-
ребра (10×1 mm) имеют хорошее отношение сиг- фия (ЭМГ) является одним из самых приемлемых
нал/шум и электрически устойчивы, поэтому они методов сбора сигналов для управления протезом.
широко используются в качестве поверхностных Существует два основных метода электромиогра-
электродов. фии: инвазивный и не инвазивный. Инвазивный
Движение кабеля, соединяющего электрод метод заключается в размещении игольчатых элек-
с усилителем, и интерфейс между поверхностью де- тродов непосредственно в мышце человека, что на-
тектора электрода и кожей создают двигательные кладывает ряд ограничений в использовании его не-
помехи. Мышечные волокна генерируют электри- прерывно и ежедневно. В связи с этим допускается
ческую активность всякий раз, когда мышцы со- использование только неинвазивного метода вос-
кращаются. Сигналы ЭМГ регистрируются путем приятия электрокимографических сигналов, накле-
размещения электродов вблизи мышечных групп. иваемые контактные площадки, сухие электроды
Когда мышца сокращается, ее длина уменьшается, и т.д. [4, 5].
а поверхностные электроды смещаются по отноше- Для получения сигналов электромиографии, воз-
нию друг к другу. В этот момент электроды покажут можных для обработки, получения паттерна движе-
некоторые двигательные помехи. Частотный диапа- ния руки и генерации управляющих воздействий
зон шума движения обычно 1–10 Гц и напряжени- необходимо разработать техническое записываю-
ем сопоставимых амплитуде ЭМГ. щее устройство. Данное записывающее устройство
Человеческое тело ведет себя как антенна — по- должно отвечать определенному ряду требований:
верхность тела непрерывно насыщается электриче- наличие усилителя с высоким входным сопротив-
ским и магнитным излучением, которое является лением, работающего в диапазоне частот ЭМГ
источником электромагнитных помех. Электромаг- и с возможностью подавления синфазного напря-
нитные источники от окружающей среды наклады- жения. Сигналы электромиографии имеют невысо-
вают нежелательный сигнал или отменяют сигнал кую амплитуду: от 20 мкВ до 5 мВ. Частоты сигналов
будучи записанными от мышцы. Амплитуда окру- электромиографии находятся в диапазоне 20–
жающего шума (электромагнитного излучения) 2000 Гц. Регистрирующее устройство подключается
иногда в один–три раза больше интересующего непосредственно к телу человека при помощи кон-
приборостроение, метрология и информационно-измерительные приборы и системы
сигнала ЭМГ. тактных электродов. Предварительно поверхность
Поверхность человеческого тела непрерывно кожи необходимо обрабатывать токопроводящим
излучает электромагнитное излучение, и избежать гелем. Данное условие связно с тем, что челове-
воздействия окружающего шума на поверхности ческая кожа имеет биоимпеданс, который варьи-
Земли невозможно. Основная проблема окружаю- руется в диапазоне 0,5–500 кОм в зависимости
щего шума связана с излучением от источников пи- от различных факторов: типа кожи, физического
тания частотой 50 Гц (60 Гц), которое также назы- состояния человека, его психоэмоционального со-
вается наводкой помех от энерголиний (НПЭ). Это стояния, температуры тела и артериального давле-
обусловливает различие в импедансах электродов ния [6]. При получении сигналов электромиографии
и в блуждающих токах через пациента и кабели. в межэлектродное расстояние попадает не одно мы-
Однако для удаления записанной помехи необходи- шечное волокно, а несколько мышечных и нервных
ма автономная обработка. Фильтр высоких частот волокон (пучок), в связи с этим электрический по-
может устранить помехи, если частота этих помех тенциал остается неизменным, а биоимпеданс тка-
высока. ней значительно падает. Например, биоимпеданс
Электрическая активность сердца является ос- одного сантиметра одиночного мышечного волокна
новным интерферирующим компонентом поверх- составляет несколько десятков МОм, а биоимпе-
ностной электромиографии (пЭМГ) в плечевом данс одного сантиметра всего мышечного пучка со-
поясе, которая называется «помехой электрокар- ставляет десятки кОм.
диограммы (ЭКГ)». Сердечная активность (помеха Исследование. Процесс движения человече-
ЭКГ) часто загрязняет ЭМГ-сигналы, особенно при ской руки происходит на подсознательном уровне,
электромиографии мышц туловища. Размещение и управляется нейромедиатором, а большинство
ЭМГ электродов, которое проводится путем выбо- этих движений задействуют несколько групп мышц
ра патологической группы мышц, часто определя- одновременно. В результате человеческая рука име-
80 ет уровень загрязнения ЭКГ в ЭМГ. Загрязнение ет более 25 степеней свободы, что накладывает ряд
ЭКГ в ЭМГ может содержаться на минимальном задач на систему управления протезом.
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (177) 2021
Рис. 1. Классификация протезов верхних конечностей
Рис. 2. Основное окно программного обеспечения
приборостроение, метрология и информационно-измерительные приборы и системы
Протезы верхних конечностей можно разде- [7, 8]. Мышцы, к которым подключались электроды
лить по нескольким критериям: в зависимости в процессе проведения исследования, — это луче-
от степени утраты конечности, по функционально- вой сгибатель запястья (musculus flexor carpi radialis)
сти, по типу контроля. На рис. 1 представлена клас- и локтевой разгибатель запястья (musculus extensor
сификация протезов верхних конечностей. carpi ulnaris). Частота дискретизации, выбранная
Для получения основных характеристик и за- в процессе исследования, была 1000 Гц. Данные сиг-
кономерностей управляющих сигналов необходим налы были записаны в файлы с разрешением csv,
программно-аппаратный комплекс сбора и обработ- данный формат удобен для работы в любой среде
ки сигналов, адекватный данным требованиям. Ког- разработки и на любом языке.
да критерии определены и соблюдены все условия, Программная реализация. Для проведения даль-
есть потенциальная возможность выявить в сиг- нейших исследований было разработано программ-
налах различные паттерны, отвечающие за жесты ное обеспечение, позволяющее обработку сигналов,
рук, которые, в свою очередь, являются основным их фильтрацию и получение результирующих пат-
функционалом протеза. тернов движений рук.
Исходя из вышеизложенных требований была Данное программное обеспечение разработа-
разработана система сбора и обработки сигналов но на языке G в программной среде LabVIEW [9].
электромиографии, позволяющая одновременную На рис. 2 представлено основное окно программно-
запись с двух мышц, посредством пяти электродов. го обеспечения.
Далее были записаны полученные сигналы и про- Разработанное программное обеспечение со-
ведена их обработка. В связи с тем, что регистриру- стоит из четырех основных частей: 1-я часть —
ющее устройство принимает разность потенциалов, блок настройки основных параметров, 2-я часть —
то для получения сигнала ЭМГ каждой мышцы необ- блок отображения информации первого сигнала,
ходимо наличие двух электродов, а также еще один 3-я часть — блок отображения информации второго
общий электрод, подключенный к электрически сигнала, 4-я часть — блок изображения результиру- 81
нейтральной ткани (в основном к локтевому суставу) ющего жеста.
[10, 11], установка пороговых значений для кали-
бровки системы в целом и индикация наличия мы-
шечного сокращения определенный мышцы. Также
в данном блоке происходит измерение среднеква-
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (177) 2021
дратичного значения сигнала электромиографии.
Данный блок представлен на рис. 3.
Блоки отображения информации о сигнале иден-
тичны друг другу и состоят из окна вывода сигналов
ЭМГ без фильтрации, окна вывода сигналов ЭМГ
с фильтрацией, а также среднеквадратичного зна-
чения сигнала. Данный блок представлен на рис. 4.
Фильтрация сигналов проводилась на основе
дискретного вейвлет-преобразования, выбор базис-
ного вейвлета и его порядка производится в про-
цессе выполнения самой программы [12].
Подобная методика фильтрации шумовой со-
ставляющей в сигнале электромиографии предус-
матривает разложение сигнала с использованием
вейвлет-преобразования, коррекцию результатов
разложения и далее восстановление сигнала. Ос-
новной задачей является выбор базисного вейвлета
(функции разложения) и ее порядка. В разработан-
ной программе есть возможность выбора базис-
ных функций из списка: db4, db6, db7, db8, sym6,
sym7, bior 3.6, bior 3.8. Подобный список обуслов-
лен наибольшим подобием формы сигналов элек-
тромиографии и самих базисных функций. Наи-
Рис. 3. Блок настройки основных параметров более часто используемый тип вейвлета в подобных
задачах — это вейвлет Добеши (db04) 6-го порядка
[13, 14].
В блоке настройки основных параметров при- Результаты. Основным результатом выполнения
сутствует возможность выбора самих файлов программы является получение результирующих
с записанными сигналами, а также возможность их жестов. При превышении порогового значения сиг-
отдельного подключения. Программа начинает ра- нала, на двоичном выходе появляется логическая
боту с создания канала чтения данных из файлов единица, и далее срабатывает система управления
в формате csv, далее происходит распараллелива- протезом. Если логические единицы появляются
ние данных и первый дубликат преобразовывается на обоих выходах двух сигналов, то в системе при-
в поток и выводится на дисплей «без фильтрации», меняется инструкция согласно функции XOR [15,
а второй дубликат переходит в блок обработки 16]. Для получения определенных жестов руки дво-
и фильтрации. В данном блоке возможен выбор ичное значение одного из сигналов умножается
типа вейвлет фильтра и порядка его фильтрации на 2, и в результате появляются четыре возможных
приборостроение, метрология и информационно-измерительные приборы и системы
82
Рис. 4. Блоки отображения информации
Таблица 1
Логические выходы сигналов
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (177) 2021
Сигнал ЭМГ 1 Сигнал ЭМГ 2 XOR Сигнал ЭМГ 2*2 Результат Жест
0 0 0 0 0 Нейтральный
0 1 1 2 2 Закрытый
1 0 1 0 1 Открытый
1 1 0 2 3 Нейтральный
а) б)
приборостроение, метрология и информационно-измерительные приборы и системы
в) г)
Рис. 5. Отображение полученных жестов:
а) свободное положение, б) рука открыта, в) рука сжата в кулак, г) свободное положение
решения. Логические значения сигналов и резуль- бодном положении [17]. На рис. 5 представлены все
таты их математических операций представлены возможные жесты.
в табл. 1. Заключение. В результате исследования была
В четвертом блоке программного обеспечения разработана система распознавания жестов на ос-
реализован вывод результирующего жеста и пред- нове сигналов электромиографии. Разработанное
ставлены изображения четырех возможных ис- программное обеспечение позволяет определять
ходов. Первый — рука расслаблена и находится наличие мышечного сокращения в определенной
в свободном положении, второй — рука открыта группе мышц, основываясь на четырех точках
и поднята вверх, третий — рука сжата в кулак, чет- восприятия. На основе этих данных определяет- 83
вертый рука снова расслаблена и находится в сво- ся конкретное положение руки и вырабатывает-
ся управляющее воздействие на протез. Системой noise in speech Signal processing // 2020 IEEE Conference
предусмотрена возможность записывать сигналы of Russian Young Researchers in Electrical and Electronic
в файлы для их дальнейшей обработки и хранения. Engineering (EIConRus), Jan. 28–30, 2020. St. Petersburg, 2020.
P. 1351–1355. DOI: 10.1109/EIConRus49466.2020.9039480.
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (177) 2021
Благодарности 11. Ara I. Denoising and analysis of EMG signal using wavelet
transform // Global Journal of Medical Research: D Radiology,
Исследование выполнено при финансовой под- Diagnostic and Instrumentation. 2020. Vol. 20, no. 1-D. P. 13–19.
держке РФФИ в рамках научного проекта № 19- DOI: 10.34257/GJMRDVOL20IS1PG13.
38-90162. 12. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ
«Регулярная и хаотическая динамика», 2001. 464 с.
Библиографический список 13. Bodin O. N., Solodimova G. A., Spirkin A. N. The
manipulation of bionic prosthesis using neural network processing
1. De Luca C. J. Control of upper-limb prostheses // Journal information principles // Moscow Workshop on Electronic and
of Medical Engineering & Technology. 1978. Vol. 2, Issue 2. Networking Technologies (MWENT), March 11–13, 2020. Moscow,
P. 57–61. 2020. 9067436. DOI: 10.1109/MWENT47943.2020.9067436.
2. Кабанов А. А. Разработка схемы аналоговой фильтра- 14. Kabanov A. A., Nikonova G. V. Gesture recognition
ции сигнала электромиографии // Омский научный вестник. system based on electromyography signals // Journal of Physics:
2018. № 5 (161). С. 135–138. DOI: 10.25206/1813-8225-2018-161- Conf. Series. 2021. Vol. 1791. 012100. DOI: 10.1088/1742-
135-138. 6596/1791/1/012100.
3. Ryabchevsky V. O., Nikonova G. V. Development of human 15. Nasri N., Orts-Escolano S., Cazorla M. An sEMG-
mashine interface for an electromyogram recorder // International controlled 3D game for rehabilitation therapies: real-time time
Multi-Conference on Engineering, Computer and Information hand gesture recognition using deep learning techniques //
Sciences (SIBIRCON), Oct. 21–27, 2020. Novosibirsk, 2020. Sensors. 2020. Vol. 20 (22). 6451. DOI: 10.3390/s20226451.
P. 1–6. 16. Bouteraa Ya., Abdallah I. B., Ibrahim A. [et al.].
4. Рангайян Р. М. Анализ биомедицинских сигналов. Development of an IoT Based Solution Incorporating Biofeedback
Практический подход / пер. с англ. А. Н. Калиниченко; под and Fuzzy Logic Control for Elbow Rehabilitation // Applied
ред. А. П. Немирко. Москва: Физматлит, 2007. 440 с. ISBN 978- Sciences. 2020. Vol. 10 (21). 7793. DOI: 10.3390/app10217793.
5-9221-0730-3. 17. Omama Yo., Haddad C., Machaalany M. [et al.].
5. Kabanov A. A., Nikonova G. V., Shchapova L. V. Surface EMG classification of basic hand movement // Fifth
Experimental Studies for Determining the Optimal Method of International Conference on Advances in Biomedical Engineering
Measuring Biophysical Signals // Journal of Physics: Conf. Series. (ICABME), Oct. 17–19, 2019. Lebanon, 2019. DOI: 10.1109/
2020. Vol. 1546. 012017. DOI:10.1088/1742-6596/1546/1/012017. ICABME47164.2019.8940352.
6. Avdeeva D. K., Tverdokhlebov S. I., Popkov A. V. [et al.].
Recording of electromyographic biopotentials using nanosensors Кабанов Артемий Андреевич, аспирант, ассистент
and osteosynthesis performed using porous implants with bioactive кафедры «Автоматизированные системы обработки
coatings as a basis for creating upper limb // International Journal информации и управления».
of Mechanical Engineering and Technology. 2018. Vol 9, Issue 10. SPIN-код: 9928-7776
P. 724–734. AuthorID (РИНЦ): 865781
7. Meng Q., Zhang J., Yang X. Virtual Rehabilitation Training ORCID: 0000-0002-0481-4998
System Based on Surface EMG Feature Extraction and Analysis // AuthorID (SCOPUS): 57205468314
Journal of Medical Systems. 2019. Vol. 43. 48. DOI: 10.1007/ ResearcherID: F-9015-2019
s10916-019-1166-z. Адрес для переписки: stiff5master@gmail.com
8. Ershov I. A., Stukach O. V., Sychev I. V. [et al.]. The Wavelet
Filtration Denoising in the Raman Distributed Temperature Для цитирования
Sensing // 2020 Dynamics of Systems, Mechanisms and Machines
приборостроение, метрология и информационно-измерительные приборы и системы
(Dynamics), Nov. 10–12, 2020. Omsk, 2020. 9306138. DOI: Кабанов А. А. Разработка системы классификации жестов
10.1109/Dynamics50954.2020.9306138. руки на основе сигналов электромиографии // Омский на-
9. Kehtarnavaz N., Kim N. Digital Signal Processing System- учный вестник. 2021. № 3 (177). С. 79–84. DOI: 10.25206/1813-
Level Design Using LabVIEW. Newnes: Elsevier, 2005. 304 p. 8225-2021-177-79-84.
ISBN 9780750679145; 9780080477244.
10. Alimuradov A. K., Tychkov, A. Yu. Application of improved Статья поступила в редакцию 09.04.2021 г.
complete ensemble empirical mode decomposition with adaptive © А. А. Кабанов
84
Вы также можете почитать
