Технічні науки

УДК 004.942

Пащенко Роман Борисович

магістрант кафедри технологій штучного інтелекту

Київського національного університету імені Тараса Шевченка

ВИЗНАЧЕННЯ ЧАСТОТИ СЕРЦЕВИХ СКОРОЧЕНЬ НА ВІДЕО

Анотація. Опис і покращення деяких з існуючих алгоритмів визначення ЧСС людини на відео.

Ключові слова: розпізнавання ЧСС людей, засоби не інвазивної діагностики, обробка відео.

Вимірювання ЧСС людини з відео може використовуватися як складова частина більш комплексної попередньої, суцільно-безпечної і масової діагностики. Разом із значенням ЧСС, доцільно використовувати також інформацію про стать і вік. Комбінація таких значень може надавати попереднє попередження про можливий ризик для здоров’я людини. Також, за допомогою описаних в статті засобів можна детектувати діпфейки.

Загальний майже для всіх існуючих на даний момент алгоритм дій для обчислення ЧСС з відео складається з наступних елементів:

• Розкадрувати відео.
• На кожному кадрі знайти множину пікселів шкіри.
• Використовуючи колір пікселів шкіри – побудувати часовий ряд.
• Вилучити з часового ряду складові, які не належать пульсу.
• Підрахувати кількість піків отриманого ряду.
• Зробити висновки про ЧСС і його варіабельність.

На даний момент, завдання знаходження обличчя на зображенні – є дуже добре дослідженим, тож найчастіше використовують саме пошук обличчя і, так званих, областей інтересу на ньому. Це множини пікселів, які належать саме шкірі (а не очам чи бороді). Також, на цьому етапі відфільтровуються пік селі, освітлення яких не дозволяє вилучити з них жодної інформації, наприклад, відблиск, чи дуже затінені області.

Для того, щоб виділити пульс з послідовних значень кольору пікселя розглянемо основну математичну модель, на якій базуються подальші розрахунки. Вважається, що колір пікселя складається з декількох складових: інтенсивності освітлення, світла, відбитого від поверхні шкіри (дзеркальна складова), світла, відбитого від внутрішніх елементів шкіри (дифузна складова) та шумів, накладених записуючим пристроєм.

Рис.1. Модель відображення шкіри, що містить дзеркальні та дифузні відображення, де лише дифузне відображення містить пульсуючу інформацію [1]

Таким чином, рівняння, яке описує значення k-го пікселя в момент часу t:

   (1)

де:

– це стан k-го пікселя шкіри;

– визначає рівень яскравості освітлення, включаючи зміни яскравості джерела світла і змін відстаней між джерелом, тілом і записуючим пристроєм;

в дихроматичній моделі модулюється двома компонентами: дзеркальним і дифузним відбиттям (, відповідно). Залежність в часі випливає з рухів тіла і пульсу (відповідно);

  – шуми, накладені камерою.

За допомогою нескладних математичних перетворень, описаних в [1], можна прийти до висновку, що  розкладається в лінійну комбінацію трьох компонент, залежних від часу:

• змін дзеркального відображення, спричинених, наприклад, рухом;
• змін освітлення;
• змін, спричинених пульсом.

Це дозволяє застосувати методи, які вирішують задачу сліпого розділення сигналу (Blind signal separation, BSS), наприклад – ICA [2] та PCA [3], для того, щоб виділити саме пульсуючу компоненту з суми.

Тож, наступним, після виділення областей інтересу кроком для алгоритмів сімейства BSS є усереднення значення пікселей для кадру. Усереднення RGB сигналу відбувається по-канально, тобто кожний з каналів (червоний, зелений, синій) усередненого пікселя дорівнює середньому значенню цього каналу. Маючи послідовність значень кожного каналу середнього пікселя – надамо їх на вхід відповідного BSS-алгоритму. Надалі вважається, що пульсом буде найбільш періодична компонента.

Іншими досить простими алгоритмами є ті, які опираються на той факт, що пульсуюча компонента найбільш виразна в зеленому каналі пікселя і найменш виразна – в синьому. Звідси, виходять два алгоритми – G [4] та G-R [5]. G – розглядає лише зелену компоненту і застосовує до неї частотні фільтри, щоб отримати значення пульсу. G-R, відповідно, використовує суму зеленого і червоного каналів RGB.

Більш складними алгоритмами можна назвати алгоритми, засновані на моделях, model-based. Серед них найбільш відомі – PBV [7] та CHMOD [6]. Вони використовують той факт, що можна сильно знизити вплив дзеркальної компоненти, маючи інформацію про колір шкіри і властивості камери. Проектуючи вектор кольору середнього пікселя на площину, ортогональну кольору шкіри – вдається сильно підвищити шанси на знаходження значення пікселя. Інформація про вектори, які відповідають даному кольору шкіри знаходиться за допомогою масштабного експерименту.

Наступним відомим етапом розвитку алгоритмів виділення ЧСС є алгоритм 2SR [8]. Замість використання усередненого значення пікселів і його змін в часі, 2SR для кожного кадру рахує власні вектори і власні значення для множини всіх пікселів на кадрі. Це дозволяє майже повністю нівелювати вплив кольору шкіри. При цьому важливо, що в подальшому аналізуються зміни кутів між вектором домінантного кольору і площинами, побудованими на власних векторах першого кадру.

Маючи це на увазі, можна покращити результат алгоритмів сімейства BSS, використавши замість усереднених значень пікселів саме зміни кута повороту вектору домінантного кольору, щоб майже виключити дзеркальну компоненту при розрахунках. Даний алгоритм дозволив знизити середню абсолютну похибку алгоритму PCA з 9.15 ударів серця за хвилину до 7.09 ударів серця за хвилину.

Для тестування використовувався відкритий для таких цілей дата сет [9]. В ньому представлені дані для тестування. Всього представлено 21 набір, які демонструють відеозаписи різних людей в умовах різного освітлення, в стані спокою та після навантажень. В кожному наборі представлено 2 відео – до та після обробки, яка полягає в вирізанні всього зайвого, що потрапляє в кадр, а також перших кількох секунд, коли людина ще не зайняла місце в кадрі. Представлені тести, в яких людина нерухомо зафіксована, а також тести, де людина обертає головою.

Також, кожний тестовий набір супроводжується даними з пульсометра, які представлені як послідовність чисел, які описують час кожного удару пульсу людини.

Довжина кожного відео складає близько п’яти хвилин.

Література

1. Wang, W., den Brinker, A. C., Stuijk, S., & de Haan, G. Algorithmic principles of remote-PPG. IEEE Transactions on Biomedical Engineering, 2017. No 64(7). PP. 1479-1491. [7565547]. https://doi.org/10.1109/TBME.2016.2609282
2. Lewandowska M. et al. Measuring pulse rate with a webcam – a noncontact method for evaluating cardiac activity, in Proc. Federated Conf. Comput. Sci. Inform. Syst. (FedCSIS), Szczecin, Poland, Sept. 2011. PP. 405–410.
3. Poh M.-Z. et al. Advancements in noncontact, multiparameter physiological measurements using a webcam. IEEE Trans. Biomed. Eng., Jan. 2011. Vol. 58. No 1. PP. 7–11.
4. Verkruysse W. et al. Remote plethysmographic imaging using ambient light. Opt. Exp., Dec. 2008. Vol. 16. No 26. PP. 21 434–21 445.
5. Hulsbusch M. An image-based functional method for opto-electronic ¨ detection of skin perfusion. Ph.D. dissertation (in German), Dept. Elect. Eng., RWTH Aachen Univ., Aachen, Germany, 2008.
6. de Haan and V. Jeanne Robust pulse rate from chrominance-based rPPG. IEEE Trans. Biomed. Eng., Oct. 2013. Vol. 60. No. 10. PP. 2878–2886.
7. de Haan and A. van Leest Improved motion robustness of remotePPG by using the blood volume pulse signature. Physiol. Meas., Oct. 2014. Vol. 35, No. 9. PP. 1913–1922.
8. Wang W. et al. A novel algorithm for remote photoplethysmography: Spatial subspace rotation. IEEE Trans. Biomed. Eng., Sept. 2016. Vol. 63, No. 9. PP. 1974–1984.
9. Hoffman W. F. C., & Lakens D. (2021, March 23). Addressing Reproducability Issues in Remote Photoplethysmography (rPPG) Research: An Investigation of Current Challenges and Release of a Public Algorithm Benchmarking Dataset. URL: https://doi.org/10.17605/OSF.IO/XJF7U