Модели глубокого обучения, основанные на искусственном интеллекте, могут определить расовую принадлежность человека только по его рентгеновским снимкам, показало новое исследование — то, что было бы невозможно для врача-человека, рассматривающего те же снимки.

Полученные результаты поднимают некоторые тревожные вопросы о роли искусственного интеллекта в медицинской диагностике, оценке и лечении: может ли расовая предвзятость быть непреднамеренно применена компьютерными программами при изучении подобных изображений?

Обучив свой ИИ на сотнях тысяч существующих рентгеновских снимков с подробным указанием расовой принадлежности пациента, международная группа исследователей в области здравоохранения из США, Канады и Тайваня протестировала свою систему на рентгеновских снимках, которые компьютерная программа не видела ранее (и не имела о них дополнительной информации).

ИИ смог предсказать расовую принадлежность пациента на этих снимках с удивительной точностью, даже если снимки были сделаны у людей одного возраста и одного пола. С некоторыми группами изображений система достигала уровня 90 процентов.

«Мы задались целью провести комплексную оценку способности ИИ распознавать расовую принадлежность пациента по медицинским изображениям», — пишут исследователи в опубликованной работе.

«Мы показали, что стандартные модели глубокого обучения ИИ могут быть обучены предсказывать расовую принадлежность по медицинским изображениям с высокой производительностью по нескольким модальностям визуализации, которая сохранялась в условиях внешней проверки».

Исследование повторяет результаты предыдущего исследования, которое показало, что искусственный интеллект, сканирующий рентгеновские снимки, с большей вероятностью пропустит признаки болезни у темнокожих людей. Чтобы предотвратить это, ученым необходимо понять, почему это происходит в первую очередь.

По своей природе искусственный интеллект имитирует человеческое мышление, чтобы быстро обнаружить закономерности в данных. Однако это также означает, что он может невольно поддаться тем же самым предрассудкам. Еще хуже то, что сложность этих систем затрудняет распутывание предрассудков, которые мы в них вплели.

На данный момент ученые не знают, почему система ИИ так хорошо определяет расу по изображениям, которые не содержат такой информации, по крайней мере, на первый взгляд. Даже при предоставлении ограниченной информации, например, при удалении подсказок о плотности костей или сосредоточении внимания на небольшой части тела, модели все равно удивительно хорошо угадывали расу, указанную в файле.

Возможно, система находит неизвестные пока науке признаки меланина — пигмента, придающего коже цвет.

«Наш вывод о том, что ИИ может точно предсказать расовую принадлежность, даже по поврежденным, обрезанным и зашумленным медицинским изображениям, зачастую в тех случаях, когда клинические эксперты не могут этого сделать, создает огромный риск для всех моделей, применяемых в медицинской визуализации», — пишут исследователи.

Исследование добавляет к растущему числу доказательств того, что системы искусственного интеллекта часто могут отражать предубеждения и предрассудки людей, будь то расизм, сексизм или что-то другое. Искаженные данные обучения могут привести к искаженным результатам, что делает их гораздо менее полезными.

Это должно быть сбалансировано с мощным потенциалом искусственного интеллекта, позволяющим обрабатывать гораздо больше данных гораздо быстрее, чем это может сделать человек, начиная от методов выявления заболеваний и заканчивая моделями изменения климата.

В исследовании остается много вопросов без ответов, но пока важно помнить о возможности проявления расовой предвзятости в системах искусственного интеллекта — особенно если мы собираемся передать им больше ответственности в будущем.

«Нам нужно взять паузу», — сказал в интервью газете Boston Globe исследователь и врач Лео Энтони Сели из Массачусетского технологического института.

«Мы не можем спешить с внедрением алгоритмов в больницы и клиники, пока не убедимся, что они не принимают расистских или сексистских решений».

Исследование было опубликовано в журнале The Lancet Digital Health.

Оригинал earth-chronicles.ru