Российские разработчики создали платформу для самопроверки медицинских сервисов искусственного интеллекта

отметили
26
человек
в архиве

Эксперты Центра диагностики и телемедицины разработали платформу для самотестирования сервисов, которые работают на основе искусственного интеллекта и предназначены для медицинских задач – например, анализа диагностических изображений. Первый работающий прототип платформы размещен на популярном сервисе GitHub, и принять участие в ее улучшении, добавив критерии проверки в зависимости от предназначения сервисов, могут разработчики со всего мира.

Перед тем, как внедрить сервис, работающий на основе искусственного интеллекта (ИИ), в рутинную клиническую практику, необходимо его протестировать на техническую готовность, а также проверить, насколько он соответствует заявленным характеристикам диагностической точности. Это называется аналитической валидацией алгоритма. Прошедшие ее сервисы допускаются к интеграции в работающие медицинские системы, в том числе городские системы здравоохранения.

Интеграция – процесс сложный и дорогой, поэтому она становится барьером для многих команд, которые не могут гарантировать требуемых точности и скорости работы алгоритма на данных системы, в которую они интегрируются. Сейчас аналитическая валидация проводится вручную. Ручная валидация допускает случайные или намеренные отклонения от утвержденной программы испытаний, позволяет манипулировать с наборами данных, а также может потенциально ставить в неравные условия участников тестирования.

Чтобы избежать указанных выше рисков и автоматизировать процесс проверки, обеспечив к нему доверие пользователей, специалисты Центра диагностики и телемедицины разработали платформу, позволяющую разработчикам сервисов на основе ИИ самостоятельно проводить предварительные испытания (аналитическую валидацию) своих алгоритмов. Прототип платформы опубликован на GitHub, и уже выложена первая версия сервиса обмена датасетом и результатами анализа данных.

«Платформа предоставляет возможность неограниченного количества обращений к единичным образцам экземпляров данных из тестового набора, чтобы донастраивать алгоритмы. На ней действуют единые правила пользования, и возможно одновременное проведение тестирования сразу нескольких сервисов. При этом платформа фиксирует время, которое программное обеспечение тратит на обработку данных (хронометраж), а разработчики получают автоматический отчет о результатах проведенного тестирования», – сказал Сергей Морозов, директор Центра диагностики и телемедицины, главный специалист по лучевой и инструментальной диагностике.

Сейчас на платформу загружены эталонные наборы данных КТ органов грудной полости с признаками коронавирусной пневмонии (COVID-19), аналогичные тем, на которых тестируются алгоритмы участников Московского Эксперимента по компьютерному зрению. Доступ к датасетам смогут получить любые компании-разработчики после бесплатной регистрации и одобрения заявки: это позволит им за 15 минут протестировать алгоритм и провести его независимое сравнение с другими ИИ-сервисами. Оценка результатов выполняется автоматически, без «ручного» вмешательства.

Благодаря автоматизации всего процесса на платформе для самотестирования минимизируется человеческий фактор, что делает манипуляцию с данными (для улучшения результатов) невозможной. Помимо диагностической точности, платформа фиксирует хронометраж анализа медицинских изображений и принимает в качестве достоверных результатов только те, которые были получены в течение заданного промежутка времени. Кроме того, сравнение результатов проверки сервиса с эталонными данными абсолютно прозрачно – разработчик видит, по каким метрикам оно проводилось и как происходил подсчет окончательного результата, отображенного в итоговом отчете.

«Каждый желающий может принять участие в совершенствовании платформы и добавлять в нее необходимые метрики, по которым будет оцениваться работа алгоритма для тех или иных медицинских целей (например, для анализа рентгенограмм или маммограмм). Однако, дополнение платформы будет контролироваться: в платформу, работающую на базе Центра, попадут только те метрики, которые имеют научное обоснование», – отметил Николай Павлов, разработчик платформы, руководитель проекта в секторе медицинской информатики, радиомики и радиогеномики Центра диагностики и телемедицины.

Первоначально с помощью платформы можно будет работать только с КТ-снимками органов грудной полости для выявления признаков коронавирусной инфекции, однако в дальнейшем он охватит и другие клинические направления. Приоритетный вектор развития – направления, входящие в Эксперимент: обнаружение рака легкого и молочных желез, туберкулеза, прочих патологий легких, рассеянного склероза и других заболеваний. В будущем, после обеспечения необходимых требований к безопасности передаваемых данных, платформа может начать применяться в Эксперименте, чтобы расширить его возможности и упростить участие и смену версионности для разработчиков ИИ-сервисов.

Создатели платформы приглашают разработчиков алгоритмов машинного обучения, программистов и исследователей принять участие в дополнении и развитии платформы, чтобы в итоге в международном поле сформировался единый, универсальный и удобный инструмент для самопроверки алгоритмов искусственного интеллекта, предназначенных для медицинских целей. На данный момент такого инструмента, нацеленного именно на клиническое внедрение сервисов на основе технологий ИИ, не существует.

Добавил precedent precedent 30 Сентября 2020
Комментарии участников:
Ни одного комментария пока не добавлено


Войдите или станьте участником, чтобы комментировать