Artificial intelligence: how it works and criteria for assessment

Full Text

История термина

Искусственный интеллект (ИИ) – это термин, используемый для описания компьютерных технологий в моделировании интеллектуального поведения и критического мышления, сравнимого с человеческим [1].

Разработка программ, выполняющих сложные интеллектуальные задачи, началась после появления современных компьютеров. Начиная с 1950-х годов ученые стали задумываться о возможности создания искусственного мозга. С теста Тьюринга ИИ получил научное развитие. В ходе проведения теста имитировался письменный диалог между судьей, компьютером и человеком, где компьютер должен быть неотличим от человека во владении естественным языком [2]. Датой рождения ИИ как области науки можно считать Дартмутский семинар в 1956 г., где впервые официально введен термин ИИ и поставлены задачи обучения машины использованию языка, формирования абстракции и концепции [3].

Принципы обучения ИИ

Обучение нейронных сетей – это закрепление тех связей внутри нее, которые способствуют получению правильного ответа на выходе, и подавление тех связей, которые способствуют получению неправильного ответа [4].

Все машинное обучение можно разделить на обучение без учителя и обучение с учителем [4]. Оба метода могут использоваться как два последовательных этапа в обучении нейронных сетей.

Обучение без учителя – это кластеризация (классификация), которая подразумевает под собой нахождение общего в исходном (или входном) наборе данных с последующим их распределением по заданному количеству категорий классификации.

Обучение с учителем происходит тогда, когда у каждой единицы входных данных (например, на изображениях) есть предварительно поставленная метка, которая определяет нормальное/аномальное изображение, кошка/собака, мужчина/женщина и т.д. Пропуская маркированные данные во время обучения, нейросеть подбирает необходимые фильтры, которые, возможно, связаны с детекцией ярких признаков, например ушей, хвостов и т.д. С каждым новым объемом обучающих данных нейросеть на выходе будет выдавать вероятность правильного ответа, приближаясь к единице (100%). Таким образом, предъявляя нейросети большое количество размеченных данных, мы в математическом смысле толкаем ее в сторону того, чтобы она подобрала такие фильтры, которые будут способствовать правильной классификации. В последующем при предъявлении нейросети нового немаркированного примера, не фигурировавшего ранее в обучающей выборке, она будет подбирать фильтры, переводя с одного слоя своей архитектуры на другой до момента, когда примет правильное решение. При этом на первых слоях нейросеть будет подбирать фильтры, которые соответствуют более простым формам, или признакам. Карты признаков предыдущего слоя на последующих слоях комбинируются, и формируются новые карты, которые все больше начинают напоминать характерные качества (например, хвосты, уши, лапы). Постепенно нейросеть учится вычленять какие-то признаки, на основе которых она в итоге принимает правильное решение, к какому классу относится то или иное изображение, например кошка это или собака. Наилучшим образом принцип работы нейронных сетей можно понять на примере одной из самых популярных простых нейросетей – распознавание рукописных чисел (рис. 1). Можно представить, что нейросеть разбивает изображение на маленькие фрагменты и сравнивает их с входными данными (рис. 2, 3). Однако одни и те же фрагменты могут участвовать в построении изображения абсолютно разных чисел, например 4 и 7 (рис. 4 а, б). Именно поэтому нейронная сеть имеет сложную конструкцию из нескольких (от 2 и даже до 100) промежуточных слоев, которые позволяют распознать важность/уникальность тех или иных фрагментов, а также их расположения между собой (рис. 5). Следует помнить, что это компьютерная программа. Она выполняет вычисления математических функций, которые ей позволяют сопоставить активность сигнала тех или иных пикселей с данными обучающей выборки. Поэтому важным является соблюдение условия сходства новых данных, которые ей будут предъявлены, с данными, на которых она обучалась. Далее одним из главных ограничений является качество входных графических данных, так, на примере из работы I. Goodfellow и соавт. из Google Inc. можно увидеть, что незначительное зашумление графических данных способно быть критичным для классификатора, в то время как для человека это совершенно не меняет восприятие этих же графических данных (рис. 6) [5].

 

Рис. 1. Рукописные цифры.

 

Рис. 2. Пример возможного пути фрагментации вводных данных.

 

Рис. 3. Визуализация архитектуры нейросеть – многослойный перцептрон.

 

Рис. 4: а – пример возможных фрагментов рукописных цифр, активирующих один из скрытых слоев перцептрона; б – демонстрация схожести расположения фрагментов данных (схожесть написания) в разных рукописных цифрах.

 

Рис. 5. Вариант активации скрытых слоев перцептрона, ведущий к результату классификации – цифре 9.

 

Рис. 6. Демонстрация изменения результата классификации нейронных сетей при зашумлении вводных данных.

 

Возможности использования ИИ в медицине

На сегодняшний день одними из первых областей медицины, на которые повлияют достижения в области технологий ИИ, будут те, которые больше всего зависят от визуализации [6]. К ним относятся офтальмология, радиология и дерматология. В данных областях медицины продемонстрирован высокий уровень производительности ИИ на основании многочисленных алгоритмов анализа изображений, в некоторых случаях сравнимый с экспертами [7–14]. Важной вехой в клиническом применении ИИ стал 2018 г., когда Управление по контролю пищевых продуктов и лекарств в США (Food and Drug Administration – FDA) впервые одобрило систему IDx-DR для автономного обнаружения диабетической ретинопатии [15].

Как и в случае любой новой медицинской технологии, успех применения в медицине алгоритмов ИИ для скрининга, диагностики или прогноза будет зависеть от отношения клиницистов и пациентов. Поэтому учет такого отношения и пробелов в знаниях будет иметь важное значение для систем здравоохранения, медицинских преподавателей, профессиональных организаций, разработчиков ИИ и регулирующих органов [16]. В нескольких исследованиях изучалось восприятие врачами различного профиля новых технологий ИИ при оказании медицинской помощи. Большинство опросов показывает, что врачи отмечают потенциальные преимущества ИИ в виде улучшения доступа пациентов к скринингу, повышения диагностической достоверности, сокращения времени, застрачиваемого специалистами на выполнение монотонных задач [17–25]. Однако существуют и потенциальные опасения среди некоторых специалистов, касающиеся риска передачи услуг здравоохранения крупным технологическим и информационным компаниям, озабоченности по поводу медицинской ответственности за машинную ошибку, уменьшения зависимости пациентов от медицинских специалистов [6, 26–28].

Возможности использования ИИ в дерматологии

Наибольший интерес в использовании технологий ИИ в дерматологии сфокусирован на диагностике онихомикозов, псориаза и новообразований кожи. В отличие от других специальностей использование ИИ получило широкое применение не только специалистами, но и пациентами. Это связано с тем, что за последнее десятилетие становление смартфонов как неотъемлемой части повседневной жизни людей и их интеграция с мобильными приложениями для улучшения здоровья с использованием ИИ получили массовое потребление. К 2019 г. насчитывалось около 3,2 млрд пользователей смартфонов во всем мире и 318 тыс. приложений, связанных со здоровьем, которые доступны для скачивания [29, 30]. Лидирующие позиции на сегодняшний день занимают мобильные приложения, связанные с профилактикой и ранней диагностикой злокачественных новообразований кожи.

A. Kassianos и соавт. (2015 г.), A. Ngoo и соавт. (2018 г.). и F. Kong и соавт. (2021 г.) подготовлены систематические обзоры по мобильным приложениям для диагностики опухолей кожи, согласно которым все имеющиеся мобильные приложения сгруппированы в четыре функциональные категории [31–33]:

1) информационные приложения;

2) для мониторинга новообразований кожи;

3) алгоритмический анализ изображений новообразований кожи;

4) приложения для реализации теледерматологических консультаций.

В связи с появлением многочисленных приложений медицинской направленности учеными сформулированы критерии их оценки. В этот список включены: проведение клинической валидации, регулярное обновление приложений, функциональная направленность, стоимость, наличие информационного блока для специалистов и пациентов, соответствие условиям государственного регулирования и регистрации.

Клиническая валидация приложений (научный и клинический вклад)

Согласно первым двум обзорам A. Ngoo и соавт. и A. Kassianos и соавт. у всех анализируемых приложений отсутствуют данные научного доказательства эффективности в отношении диагностики опухолей кожи, что требует улучшения регулирования рынка приложений. К 2019 г. появилось 5 приложений с доказанной клинической эффективностью (7,6%; n=5/66), представленной в публикациях в рецензируемых журналах, однако 1 из них уже более не доступно на рынке приложений [34–38]. Большинство из них использовало сервис теледерматологических консультаций. При этом об оценке функциональности приложений вовлеченными дерматологами не сообщалось. Многими авторами приложений заявлено о наличии данных, «основанных на доказательствах», однако проверить достоверность информации не представлялось возможным в силу отсутствия ее доступности, что затрудняло оценку обоснованности этих утверждений. С другой стороны, систематический обзор 2017 г. показал, что многие из этих приложений вполне могут иметь исследования клинической валидации, не опубликованные или недоступные к моменту написания обзора [32].

Быстрый оборот и рост рынка приложений

Высокий оборот приложений на виртуальном рынке объясняется исчезновением одних и заменой их другими, но в большем количестве. В 2017 г. представлено чуть меньше 1/2 приложений, чем в 2019 г. (коэффициент истощения 46,5%; n=23/43), при этом только 9 из 39 приложений 2014 г. доступны в 2019 г. (коэффициент истощений 76,9%) [31]. Одной из распространенных причин можно указать низкий уровень использования, что может часто приводить к исчезновению приложений, в которых не заинтересованы пользователи. К 2019 г. наиболее распространенными являлись приложения по мониторингу новообразований кожи (48,5%; n=32/66) с последующим анализом изображений ИИ (39,4%; n=26/66), информационные приложения о раке кожи (37,9%; n=25/66) и 27,3% приложений (n=18/66), предоставляющих теледерматологические услуги [31]. При этом количество приложений, предлагающих анализ изображений новообразований кожи с помощью ИИ, увеличилось с 23,3% в 2017 г. до 39,4%. К сожалению, T. Steeb и соавт. в своем исследовании продемонстрировали, что только 1% людей из 200 амбулаторных онкологических пациентов с раком кожи когда-либо использовали специализированное приложение [39]. Из исследования можно сделать вывод о низком комплаенсе потенциальных пользователей из групп высокого риска, которые могли бы получить определенную информационную выгоду, использовав мобильные приложения, направленные на профилактику и диагностику рака кожи. Однако несмотря на такое большое количество приложений, их рост продолжает увеличиваться не только в онкодерматологии, но и в других областях медицины, например количество приложений, посвященных раку молочной железы, увеличилось со 138 приложений, доступных в 2013 г., до 599 в 2018 г., демонстрируя существенное увеличение на 334% [21, 32, 40, 41]. По сравнению с приростом мобильных приложений, посвященных раку молочной железы, за 5-летний период количество приложений по раку кожи увеличилось только на 77% [31].

Функциональная направленность

К моменту публикации систематического обзора F. Kong и соавт. функциональные возможности мобильных приложений с онкодерматологической направленностью постепенно менялись. Доля приложений, посвященных мониторингу новообразований кожи, и приложений, предлагающих теледерматологические услуги, оставалась относительно стабильной, в то время как доля информационных приложений снизилась. Если вернуться к приложениям, в которых использовались аналитические возможности ИИ, то можно заметить, что в период с 2014 по 2017 г. отмечалось снижение их количества с последующим увеличением в период 2017–2019 гг. Эта история могла быть связана с первоначальной шумихой вокруг ИИ, за которой последовала неудача, а в последующем и достижения в разработке алгоритмов глубокого обучения [42]. Так, разные группы ученых Стэнфордского университета в своих исследованиях продемонстрировали возможности их сверточных нейронных сетей (тип глубокого обучения ИИ) в классифицировании опухолей кожи с такой же точностью, что и у дерматологов [13, 14, 43]. В качестве маркетингового хода для привлечения пользователей большинство разработчиков мобильных приложений стали использовать аббревиатуру AI (Artificial Intelligence) в названии.

Стоимость приложений

В 2019 г. количество бесплатных приложений увеличилось до 63,6% (n=42/66) по сравнению с 53,5% (n=23/43) в 2017 г. Необходимо отметить, что все приложения (21), основанные на рандомизированных клинических исследованиях, бесплатны [44]. Предполагается, что многофункциональные приложения требуют большего обслуживания и, соответственно, более высоких выплат. Однако в систематическом обзоре А. Ngoo и соавт., не определив взаимосвязи между стоимостью и производительностью, классифицировали приложения по виду графиков оплаты приложений на 4 типа:

1) разовая покупка для загрузки приложения, кроме услуги отказа от рекламы и получения доступа к дополнительным функциям;

2) ежемесячные или ежегодные выплаты согласно подписке;

3) оплата за отдельную услугу (например, консультация дерматолога);

4) оплата дерматоскопических насадок к смартфону [32].

Стоимость разовой покупки для загрузки и получения полного доступа ко всем функциям приложения варьировала от 0,99 до 15,99 дол. США (n=8/66) и увеличивалась к 2019 г. Более вариабельной являлась стоимость приложений, предлагающих онлайн-консультации дерматолога, которая определялась статусом врача и сроками реализации запроса. В одном из мобильных приложений предлагались покупка и использование дерматоскопических насадок стоимостью 99 или 299 дол. США, что относит такой тип приложений к одним из дорогостоящих наравне с услугой теледерматологической консультации.

Обновления приложений

Все клинические рекомендации по профилактике, диагностике и лечению меланомы и других видов рака кожи регулярно обновляются во всех странах согласно результатам последних значимых клинических исследований, что обязательно должно быть отражено и в существующих специализированных приложениях для получения достоверных знаний пользователями. Согласно данным систематического обзора F. Kong и соавт., в большинстве информационных и образовательных приложений по раку кожи отсутствуют регулярные обновления [31]. Так, В 2019 г. 15 (22,7%) из 66 приложений не обновлялось на протяжении 48 мес, 4 из которых относилось к информационной/образовательной категории, а 1 имело последнее обновление лишь в 2014 г.

Таким образом, с одной стороны, такие приложения без данных последних версий клинических рекомендаций доступны для скачивания в онлайн-магазинах, а с другой стороны, уже не существующие в онлайн-магазинах приложения не удаляются автоматически с телефонов пользователя, что может приводить к получению устаревшей информации пользователями.

Отношение пациентов к мобильным приложениям с онкодерматологической направленностью

Несмотря на обилие онкодерматологических мобильных приложений, существует крайне малое количество исследований, которые анализировали отношение пользователей к ним. K. Kessel и соавт., проанализировав в своем исследовании отношение 375 онкологических пациентов, находящихся на лечении или под динамическим наблюдением, к приложениям с онкодерматологической направленностью, продемонстрировали, что около 50% участников, чаще молодые мужчины, согласились бы использовать такие приложения [45]. Однако большинство участников исследования отметили некоторые ограничения, такие как отсутствие навыков и соответствующих устройств, а также конфиденциальности предоставляемых данных.

Регулирование и регистрация мобильных приложений

Вопрос регулирования и регистрации приложений медицинского назначения Росздравнадзором требует определенных усовершенствований. Если провести некоторую параллель с США, то необходимо отметить, что с 2012 г. FDA уполномочено выполнять контроль за мобильными приложениями медицинского назначения [3]. Однако этот мониторинг распространяется только на медицинские приложения, использующие алгоритмы для оценки рисков и диагностики, в то время как приложения, предназначенные для коммуникации и переноса изображений, не включены в эту систему регулирования [3]. В Австралии Администрация лекарственных средств (Therapeutic Goods Administration – TGA) аналогичным образом классифицирует мобильные приложения как медицинское изделие в том случае, если они выполняют функцию диагностики, предотвращения, мониторинга или лечения, но исключает из этой категории любые приложения, которые предоставляют образовательную информацию или пропагандируют здоровый образ жизни [4]. С учетом этих определений FDA и TGA многие из рассмотренных приложений вышли за рамки категории «медицинское изделие» и поэтому освобождены от регулирования, что затрудняет работу государственных органов для мониторинга разработчиков приложений [46].

Та же ситуация просматривается и в Российской Федерации, где согласно ст. 38 Федерального закона №323 «Об основах охраны здоровья граждан в Российской Федерации» с уточнением в Информационном письме Росздравнадзора от 30.12.2015 №01И-2358/15 программное обеспечение как медицинское изделие имеет более широкое и размытое определение как специального программного обеспечения, предназначенного производителем для профилактики, диагностики, лечения и медицинской реабилитации заболеваний, мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности и др. На международном форуме регуляторов медицинских устройств (International Medical Device Regulators Forum – IMDRF), в который входит Росздравнадзор, дано более узкое определение программного обеспечения медицинского назначения (Software as a Medical Device – SaMD): «Медицинское программное обеспечение: программное обеспечение, предназначенное для использования в одной или нескольких медицинских целях, не являющееся частью аппаратного медицинского изделия». Если SaMD дополнительно к определению IMDRF предназначено для формирования клинически значимой информации, принятия врачебных решений, то оно подлежит обязательной регистрации как медицинского изделия на основании 4 базовых документов, разработанных и принятых IMDRF [47–50].

В настоящее время правила классификации медицинских изделий, включая разделение на классы в зависимости от потенциального риска их применения (1, 2а, 2б, 3-й классы) и на виды в соответствии с номенклатурной классификацией медицинских изделий, регулируются Приказом Минздрава России от 06.06.2012 №4н «Об утверждении номенклатурной классификации медицинских изделий», но недостаточно точны [5, 51]. Особенно это касается программного медицинского изделия на базе ИИ и машинного обучения. Таким образом, вопрос разработки и утверждения прозрачных критериев отнесения программного обеспечения к медицинским изделиям, в том числе и для оценки потенциального риска причинения вреда здоровью, особенно с использованием ИИ и машинного обучения, основываясь на рекомендациях IMDRF, является актуальным. Помимо этого для такого рода программного обеспечения планируется внесение отдельного раздела в номенклатуру медицинских изделий «Специальное программное обеспечение».

Препятствием на пути регулирования приложений медицинского назначения является и отсутствие доказательства клинической эффективности. D. Kim и соавт. провели анализ публикаций в Pubmed, MEDLINE и Embase за 2018 г. в который вошло 516 исследований эффективности применения алгоритмов ИИ при анализе медицинских изображений для поддержки принятия врачебных решений [52]. Согласно результатам анализа только 6% (31 исследование) предусматривало применение внешней проверки результатов и ни одно исследование не использовало проспективный дизайн и одновременное валидирование на базе нескольких медицинских организаций. Учитывая особенности программного обеспечения и его отличия от оборудования и лекарств, на сегодняшний день имеется необходимость внесения в правила обязательных клинических испытаний до регистрации, а также проведения дополнительной исследовательской работы по формированию отношений регулятора к системам на базе ИИ и машинного обучения.

Программный комплекс «ПроРодинки»

На территории РФ разработан и предложен программный комплекс «ПроРодинки» для использования пациентами и специалистами. Приложение доступно на смартфонах с операционными системами Android и iOS и предназначено для анализа новообразований кожи на основе фотографий, а также набора риск-факторов, предоставленных пользователем. Фотографии, сделанные пользователями, проходят контроль с помощью алгоритмов компьютерного зрения. Алгоритм определяет качество снимка, а также наличие и размеры новообразования на полученном снимке. Анализ полученных снимков выполняется с применением обученного на верифицированном банке изображений, риск-факторов и динамике новообразований ансамбля нейронных сетей. Нейронные сети построены на основе предобученных глубоких нейронных сетей с использованием банка из 6 тыс. изображений новообразований кожи с подтвержденным патогистологическим диагнозом с дообучением на накопленном банке изображений, получаемых пользователями. Для нахождения оптимальной модели сети и ее гиперпараметров проведено около 400 вычислительных экспериментов. Эксперименты проводились с использованием многопоточной обработки на 20 процессорах. Все изображения в банке из 6 тыс. случаев независимо оценены двумя ведущими экспертами онкодерматологами.

На основе выполненного анализа изображения, риск-факторов и динамики образования приложение выдает рекомендацию по поводу срочности обращения к специалисту для дальнейшего очного обследования данного новообразования. Выполняемый приложением анализ проверяется врачами-экспертами для обеспечения контроля качества работы приложения и в дальнейшем с дообучением нейросети на основе банка накопленных изображений.

Обработка изображений, риск-факторов и динамики изображений проводится на наборе серверов с общей пропускной способностью сервера нейронных сетей более чем 50 изображений в 1 с, что позволяет анализировать более 2 млн 160 тыс. обращений в 1 мес. Передача изображений на сервер обработки производится по мобильной сети 3G и занимает несколько секунд. Приложение «ПроРодинки» доступно пользователям бесплатно на всей территории России, что предоставляет возможность использования широкому кругу населения на телефонах с операционными системам Android и iOS.

Приложение доступно пользователям со 2 декабря 2020 г., наиболее активно использовалось с 1 февраля 2021 г. и обработало за 6 мес более 110 тыс. изображений. Данные по обращениям пользователей, хранимые на сервере, деперсонализированы и предоставлены для дальнейшего анализа. Анализ произведен с применением пакета Microsoft PowerBI.

Согласно критериям оценки приложений, работающих на основе ИИ, программный комплекс «ПроРодинки» имеет следующие преимущества:

1. Программный комплекс предусматривает экспертную оценку работы нейросети в реальном времени и интеграцию технологии материалов непрерывного обучения на основе согласованных между экспертом и нейросетью случаев.
2. Инициировано мультицентровое проспективное клиническое исследование по валидации работы приложения «ПроРодинки».
3. Функционально приложение выполняет задачу оценки изображения и риск-факторов с выдачей рекомендаций по тактике ведения пациента и маршрутизации в случае подозрения на злокачественное новообразование.
4. Приложение «ПроРодинки» бесплатное.
5. За 6-месячный период приложение обновлялось 6 раз с улучшением технических характеристик и информационной наполняемости.
6. Отношение пациентов характеризовалось на основании средней оценки в онлайн-провайдерах App Store – 4,7 балла из 185 полученных отзывов и Google Play – 4,3 из 371. Отрицательные отзывы в большинстве случаев связаны со сложностями выполнения качественной фотографии пользователем.
7. Приложение «ПроРодинки» на территории РФ зарегистрировано Росздравнадзором как немедицинское изделие.

Перспективы развития:

1. Расширение возможности использования ПК «ПроРодинки» специалистами неонкологических специальностей с возможностью получения второго мнения от эксперта.
2. Внедрение обучающего блока и онлайн-тренингов для врачей первичного звена с поэтапным увеличением сложности экспертизы изображений, предлагаемых специалисту нейросетью.
3. Расширение информационного блока для пациентов по самообследованию, профилактике фотоповреждения и общей информации по доброкачественным и злокачественным новообразованиям.
4. Регистрация ПК и рассмотрение возможностей регистрации как медицинского изделия.
5. Рассмотрение возможности обеспечения коммуникации между пациентом и врачом для получения второго мнения.

Заключение

Для обеспечения безопасности пользователей и защиты глобального рынка приложений любое мобильное приложение медицинской направленности должно проходить многоуровневую проверку. С учетом широкого распространения и стремительной развивающейся конкурентной среды необходимо трезво относиться к ресурсам подобных приложений, не преувеличивая их возможности и не расценивая как замену специалисту.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Conflict of interests. The authors declare no conflict of interest.

About the authors

Irena L. Shlivko

Privolzhsky Research Medical University

Email: irshlivko@gmail.com
ORCID iD: 0000-0001-7253-7091

D. Sci. (Med.), Assoc. Prof.

Russian Federation, Nizhny Novgorod

Oxana Ye. Garanina

Privolzhsky Research Medical University

Author for correspondence.
Email: oksanachekalkina@yandex.ru
ORCID iD: 0000-0002-7326-7553

Cand. Sci. (Med.)

Russian Federation, Nizhny Novgorod

Irina A. Klemenova

Privolzhsky Research Medical University

Email: iklemenova@mail.ru
ORCID iD: 0000-0003-1042-8425

D. Sci. (Med.), Prof.

Russian Federation, Nizhny Novgorod

Kseniia A. Uskova

Privolzhsky Research Medical University

Email: k_balyasova@bk.ru
ORCID iD: 0000-0002-1000-9848

Assistant

Russian Federation, Nizhny Novgorod

Anna M. Mironycheva

Privolzhsky Research Medical University

Email: mironychevann@gmail.com
ORCID iD: 0000-0002-7535-3025

Assistant

Russian Federation, Nizhny Novgorod

Veniamin I. Dardyk

"AIMED" LLC

Email: ben@aimedpro.ru
ORCID iD: 0000-0002-1473-6241

general manager

Russian Federation, Moscow

Viktor N. Laskov

Charles University

Email: viktor.laskov@fnkv.cz
ORCID iD: 0000-0002-0226-4945

Research Assistant, Third Faculty Medicine

Czech Republic, Prague

References

Supplementary files