Обробка фрагментів медичного зображення алгоритмом модифікованої згортки

Автор:

Анотація: В статті розглянуті існуючі рішення фільтрації зображень та підходи, що дозволять автоматизувати це процес, запропоновано нову альтернативу, сутність якої полягає в комбінуванні архітектури нейронної мережі та операції згортки, що має ядро згортки довільного розміру.

Бібліографічний опис статті:

. Обробка фрагментів медичного зображення алгоритмом модифікованої згортки//Наука онлайн: Міжнародний електронний науковий журнал - 2018. - №5. - https://nauka-online.com/publications/technical-sciences/2018/5/obrabotka-fragmentov-meditsinskogo-izobrazheniya-algoritmom-modifitsirovannoj-svertki/

Стаття опублікована у: : Наука Онлайн No5 май 2018

Технічні науки

УДК 004.932.4:004.852

Гулін Іван Леонідович

студент

 Національного технічного університету України

 «Київський політехнічний інститут імені Ігоря Сікорського»

  Гулин Иван Леонидович

 студент

 Национального технического университета Украины

 «Киевский политехнический институт имени Игоря Сикорского»

Gulin Ivan

 Student of the

National Technical University of Ukraine

 “Igor Sikorsky Kyiv Polytechnic Institute

ОБРОБКА ФРАГМЕНТІВ МЕДИЧНОГО ЗОБРАЖЕННЯ АЛГОРИТМОМ МОДИФІКОВАНОЇ ЗГОРТКИ

ОБРАБОТКА ФРАГМЕНТОВ МЕДИЦИНСКОГО ИЗОБРАЖЕНИЯ АЛГОРИТМОМ МОДИФИЦИРОВАННОЙ СВЕРТКИ

PROCESSING OF FRAGMENTS OF THE MEDICAL IMAGE BY THE MODIFIED CONVOLUTION ALGORITHM

Анотація. В статті розглянуті існуючі рішення фільтрації зображень та підходи, що дозволять автоматизувати це процес, запропоновано нову альтернативу, сутність якої полягає в комбінуванні архітектури нейронної мережі та операції згортки, що має ядро згортки довільного розміру.

Ключові слова: операція згортки, обробка зображень, нейронна мережа, діагностика.

Аннотация. В статье рассмотрены существующие решения фильтрации изображений и подходы, которые позволят автоматизировать это процесс, предложена новая альтернатива, суть которой заключается в комбинировании архитектуры нейронной сети и операции свертки, что имеет ядро свертки произвольного размера.

Ключевые слова: операция свертки, обработка изображений, нейронная сеть, диагностика.

Summary. The article discusses some existing solutions for image filtration and approaches that will automate this process, proposes a new alternative, the essence of which is to combine the architecture of the neural network and the convolutional operation, which has a kernel of convolution of arbitrary size.

Key words: convolution algorithm, image processing, neural network, diagnostics.

Постановка проблеми. Етап діагностики – це один із основних китів медицини, без якого сама медицина не має сенсу. Чим якісніша діагностика, тим краще лікування – так було завжди. Зараз ми маємо змогу лікувати краще ніж коли-небудь, але з появою нових можливостей з’являються нові перешкоди. Старі методи діагностування, що були складні та навіть небезпечні відійшли у минуле. Стрімкий розвиток посприяв появі нових пристроїв, що дозволяють бачити те, що до цього не було можливості побачити. Якість діагностики в цьому випадку характеризується точністю і якістю вихідних сигналів з пристроїв. Це приводить нас до однієї з головних проблем діагностики сьогодення – наявність шумів. Медичні зображення є одним з найяскравіших представників як результату роботи діагностичних медичних приладів, так і наявності шуму на них. Багато факторів впливають на виникнення шуму: відбите випромінювання, якість медичного пристрою, можливі дії лікаря, тощо.

Об’єктивно покращити якість зображень можна двома шляхами – або зробити процес створення зображень якісніше, або відфільтрувати вже готові зображення. Другий спосіб на відміну від першого не вимагає врахування вищеперерахованих факторів виникнення шуму, а пропонує просто позбавитися шуму.

Зображення судинної системи є дуже цінними для діагностики, оцінка їх морфологічних ознак, таких як довжина, ширина, звивистість, тощо, дуже широко використовується для діагностики, лікування. Шум однозначно зводить користь цих ознак нанівець.

З розвитком біомедичної інформатики почали з’являтися полуавтоматизовані, а пізніше й автоматизовані комп’ютерні системи розпізнавання. Провести фільтрацію важливо, тому що ручний процес фільтрації зображень не завжди буває тривіальним, наскільки не був ефективний метод. Ручна обробка та аналіз діагностичних зображень (сегментація кровоносних судин, вимір їх ширини і звивистості судин) – це довге і виснажливе завдання, яке вимагає також підготовки і майстерності. Фахівці вчаться відрізняти пошкодження СС від зовнішнього вигляду СС без патологій. Крім того, при подібному роді аналізу завжди присутній суб’єктивний фактор, що часто призводить до відмінностей в діагнозах, поставлених лікарями.

Аналіз основних досліджень та публікацій. Обробка цифрових зображень у медицині стає дуже актуальним напрямком. За допомогою обробки можна покращити якість зображення, відновлення пошкоджених зображень, розпізнавання окремих елементів. Таке явище як шум перешкоджає нормальному розпізнаванню ознак патологічних процесів, тому існує кілька методів сегментації зображень.

Треба розуміти, що кінцевий результат аналізу зображень залежить від конкретики задачі та якості сегментації. Не існує універсального алгоритму що вирішує всі задачі сегментації – у кожного є переваги та недоліки [1].

Зрозуміло, що щоб аналізувати досліджуваний об’єкт необхідно відокремити його з усього зображення. Метод оконтурювання по Sobel – один з найкращих алгоритмів виділення меж, часто використовується як база для більш складних алгоритмів, таких як метод Canny, Prewitt, Laplassian, Roberts [2].

Згортковий алгоритм на зображеннях – базовий метод фільтрації зображень з якого пішли майже всі алгоритми, у тому числі метод Sobel. Популярний метод, що використовується на багатьох графічних редакторах. Матриця згортки – це матриця коефіцієнтів, яка «множиться» на значення пікселів зображення для отримання необхідного результату. Матриця проходить по кожному пікселю зображення, «прикладуючись» до нього ядром матриці. Найпопулярніші розміри матриць – 3х3 та 5х5 [3].

Метою статті є огляд існуючих рішень фільтрації зображень в цілому та автоматизація цього процесу. Обробка медичних зображень є показовим прикладом того, наскільки робота з фільтрацією зображень є важливою та актуальною. Багато методів фільтрації зображень існують на даний момент, але в основному якщо метод ефективний, то значить його автоматизація погана, і навпаки. При тому самі оптимізовані в цьому плані методи вимагають покращення. В цій статті аналізуються недоліки найпопулярніших рішень та пропонується рішення, що теоретично може ввібрати  найкращі якості аналогів.

Операція згортки – найпопулярніший та найпростіший метод обробки зображень, на якому базуються широко використовувані в медицині імплементації. Згортка – це операція обчислення нового значення обраного пікселя, що враховує значення оточуючих його пікселів. Для обчислення значення використовується матриця, звана ядром згортки. Зазвичай ядро ​​згортки є квадратною матрицею n * n, де n – непарне, однак ніщо не заважає зробити матрицю прямокутною. Під час обчислення нового значення обраного пікселя ядро ​​згортки якби «прикладається» своїм центром (саме тут важлива непарність розміру матриці) до даного пікселя. Навколишні пікселі так само накриваються ядром. Далі вираховується сума, де складовими є добутки значень пікселів на значення комірки ядра, що накрила даний піксель. Сума ділиться на суму всіх елементів ядра згортки. Отримане значення як раз і є новим значенням обраного пікселя. Якщо застосувати згортку до кожного пікселя зображення, то в результаті вийде якийсь ефект, що залежить від обраного ядра згортки.

Одразу потрібно виділити один момент – розмірність ядра одним пікселем – це стандарт, але ніщо не заважає взяти розмірність більшу. Саме в цьому аспекті розкривається одне з питань даного дослідження – як зміниться якість обробки при збільшені розміру ядра матриці згортки? Якщо придивитися на принцип роботи операції згортки можна помітити суперечність з описаною вище тезою – результат операції є число, що і є отриманим пікселем на місці прикладання ядра матриці в системі RGB. Плавно переходячи до процесу автоматизації, пропонується використання нейронної мережі. Принцип роботи нейронної мережі, простими словами, полягає в правильному розподілені ваги кожного з’єднання (далі – синапсу) при ітераційному порівнянні кожного результату обчислень з заданим ідеалом, тобто навчання. Кожне значення матриці згортки можна інтерпретувати як вага синапсу, вказати кількість необхідних вхідних та вихідних нейронів, та порівнювати сет вихідних з значеннями відповідно розташованих пікселів в ідеалі. Цим рішенням ми позбавляємося багатьох проблем існуючих аналогів, про які буде вказано нижче.

Взагалі матриці згортки дозволяють як завгодно маніпулювати над вхідним зображенням, а не тільки проводити очищення зображення від шумів. Фільтрів для обробки зображень – безліч: для розмиття зображень, повищення чіткості, фільтр нарощування, ерозія, тощо. Найбільш відомий та ефективний фільтр для зглажування зображень – медіанний фільтр. Медіанний фільтр являє собою ковзне по полю зображення вікно w, що охоплює непарне число відліків. Центральний відлік замінюється медіаною всіх елементів зображення, що потрапили у вікно. Медіаною дискретної послідовності називається середній по порядку член ряду, що виходить при впорядкуванні вихідної послідовності [4].

Рис. 1. Принцип роботи медіанної фільтрації [3]

Велика перевага методу – це те, що різкі перепади значень яскравості на зображеннях не змінюються, тому контури зображень будуть виділятися, а імпульсні перешкоди будуть пригнічені.

Недолік медіанної фільтрації – слабка ефективність при фільтрації флуктуаційного шуму. Крім того, при збільшенні розміру маски відбувається розмиття контурів зображення і, як наслідок, зниження чіткості зображення.

Зазначені недоліки методу можна зменшити до мінімуму, якщо скористатися медіанної фільтрацією з динамічним розміром маски (адаптивною медіанної фільтрацією) [5].  Єдина різниця полягає в тому, що розмір ковзаючого вікна динамічний та залежить від яскравості сусідніх пікселів.

Рис. 2. Принцип роботи медіанної фільтрації [3]

Адаптивна медіанна фільтрація акцентує увагу на контури. За цим принципом навіть краще виконують роботу метод оконтурювання Собеля та його похідні.

Метод оконтурювання Собеля – це  дискретний диференційний оператор, що вираховує приблизне значення градієнта яскравості зображення в кожній точці. Так знаходиться напрям найбільшого збільшення яскравості та величина її зміни в цьому напрямку. Результат показує, наскільки «різко» або «плавно» змінюється яскравість зображення в кожній точці, а значить, ймовірність знаходження точки на межі, а також орієнтацію кордону. Проблема методу оконтурювання Собеля лише в тому, що його нащадки набагато ефективніші, метод часто використовується як етап більш складного алгоритму, такого як, наприклад, метод оконтурювання Canny.

Метод оконтурювання Canny – фактично це набір послідовно виконуваних алгоритмів [6]: зглажування зображення фільтром Гаусса [7]; пошук градієнта області за допомогою оператора Собеля; порівняння пікселів по напрямку градієнта, розрахунок локального мінімуму; застосування порогових значень для знаходження меж у кожній точці [8]. Всі ці етапи дозволяють отримати дуже якісне зображення, але програє в швидкодії іншим, простішим операторам [9]. До того ж його не можна автоматизувати, комусь потрібно задавати пороги. Якщо задати їх неправильно, то всі переваги зведуться нанівець [10]. Також алгоритм не обробляє кутові точки.

Метод оконтурювання Laplassian – орієнтується на збільшенні різкості зображення, щоб підкреслити дрібні деталі чи покращити розфокусованні внаслідок помилок чи поганого методу оцифрування.

Всі вищеперераховані методи мають свої переваги та недоліки, але їх об’єднує один недолік – відсутність автоматизації. Автоматизація дозволила б використовувати методи більш ефективніше ніж насправді. Точність вихідних даних – найважливіша ціль обробки, якісна діагностика рятує більше життів. Наприклад самий точний метод виділення контурів, оператор Кенні, через брак автоматизації сприяє ручному налаштуванню, що є явищем досить суб’єктивним та довгим. Людина не може гарантувати, що при даних параметрах фільтрування пройде найефективнішим образом.

Автоматизовані методи фільтрації існують, і вони засновані на нейронних мережах. Звичайна нейронна мережа надає всім відомий механізм, який дозволить вивести оброблений матеріал після навчання, що зводилося до порівняння з ідеалом.  Головна проблема такого підходу – це вимога великої кількісті вхідних нейронів (для зображення 28х28 на вхід піде 784). З використанням оператора згортки як механізму фільтрації, нейрона мережа матиме 1 вихідний нейрон, і буде ітеруватися по кожному пікселю, що впливатиме на ресурси та час.

Згорткова нейрона мережа пропонує вирішення цієї проблеми. Будучи спроектована як нейронна мережа для обробки зображень, вона бере за основу звичайний оператор згортки. Але щоб навчити згорткову нейрону мережу нам потрібно багато вхідних даних. До того ж мережу легше перевчити, ніж якби це була звичайна мережа. При досить гнучкій конфігурації, чим більше її налаштовувати, тим повільніше вона вчитиметься [11].

При використанні нейронної мережі відпадає необхідність мати ядро матриці згортки розширенням один піксель, що призведе до зменшення кількості ітерацій. Нейрона мережа автоматизує процес підбору параметрів для фільтрації зображення, що покращує якість оброблених зображень.

Остання проблема що треба вирішити – це кількість вхідних даних. Модифікована матриця згортки буде неефективною, якщо взяти за приклад архітектуру згорткової нейронної мережі. Зображення в згортковій нейронній мережі розцінюється як ціле, і обробляється як ціле, тому ця мережа така повільна та вимоглива. Пропонується нейрона мережа , яка буде приймати на вході лише фрагмент зображення, матрицю яку задає користувач, з ядром, що являє собою матрицю, розмірністю вихідної матриці. Таким чином ми позбавляємося від обробки цілого зображення та отримуємо більшу кількість вхідних даних, по яких мережа буде вчитися. Також треба відмітити гнучкість в заданні користувачем розміру масок – матриць згортки. За ідеальне значення до якого має прагнути нейрона мережа ми візьмемо оброблене вручну зображення. Звичайно можуть бути і недоліки, наприклад, проблема розмірності вхідної матриці. Чим більше розмірність вхідної матриці, тим більша потреба в системних ресурсах. Але точність обробки – це найголовніше, а проблема з потужністю виходить на другий план, так як потужності ЕВМ досі зростають по закону Мура кожні 2 роки в 2 рази.

Висновки з даного дослідження і перспективи подальшого розвитку у даному напрямку. Методів для обробки зображень в медицині існує безліч, але у кожному є певні недоліки, які можуть вплинути на кінцеве рішення лікаря. У деяких відсутня автоматизація в принципі, що зводить все до ручної обробки зображень, де можна помилитися. Завдяки машинному навчанню рутинну працю можна звести нанівець. Обов’язково з’являться деякі нові проблеми при використанні відомих архітектур нейронних мереж, тому запропонований вище спосіб намагається теоретично позбавитися цих проблем, хоча б найважливіших.

На жаль тільки теоретично не можна описати непередбачуваних  факторів при вивченні нейронної мережі. Тільки практика остаточно може сказати, такі речі, як наприклад перевивченість. Про що можна сказати зараз, так це про велику область дослідів, багата варіативність яких досягається завдяки гнучкій конфігурації та можливості отримати більше інформації з одного зображення на відміну від інших існуючих методів.

Література

  1. Прэтт У.К. Цифровая обработка изображений. – М.: Мир, – 1982. I.–2. – 792 с.
  2. Engel K., Hadwiger M., Kniss J., Rezk-Salama C. Real-Time Volume Graphics. –A K. Peters Wellesley M.A. – 2006. – pp. 112–114.
  3. Матричные фильтры обработки изображения [Електронний ресурс] – Режим доступу: https://habrahabr.ru/post/142818/
  4. Бухтояров С. С. Удаление шума  из  изображений  нелинейнымицифровыми фильтрамина основе ранговой статистики. – Москва. – 2007. – 184 с.
  5. Адаптивная медианная фильтрация [Електроний ресурс] – Режим доступу:  http://www.controlstyle.ru/articles/text/amf/
  6. Шапиро Л., Стокман Дж. Компьютерное зрение. – М.: БИНОМ. Лаборатория знаний. – 2006. – 752 с.
  7. Власов А.В., Цапко И.В. Модификация алгоритма Канни применительно к обработке рентгенографических изображений / Вестник науки Сибири. – 2013. – No 4(10). – С. 120–127.
  8. Canny J.A. Computational approach to edge detection / IEEE Transactions on patternanalysis and machine intelligence. – 1986. – No 6. – pp. 679–698.
  9. Жук С.В. Автоматизированная система обнаружения патологий клеток в темнопольных исследованиях крови / Открытое образование. – 2011. – No 2 (85). – С. 199–202.
  10. Никитин О.Р., Пасечник А.С. Оконтуривание и сегментация в задачах автоматизированной диагностики патологий / Методы и устройства передачи и обработки информации. – 2009. – No 11. – С. 300–309.
  11. How do Convolutional Neural Networks work? [Електроний ресурс] – Режим доступу: https://brohrer.github.io/how_convolutional _neural_networks_work.html

Перегляди: 2072

Коментарі закрито.

To comment on the article - you need to download the candidate degree and / or doctor of Science

Підготуйте

наукову статтю на актуальну тему, відповідно до роздлів журналу

Відправте

наукову статтю на e-mail: editor@inter-nauka.com

Читайте

Вашу статтю на сайті нашого журналу та отримайте сертифікат