Искусственный интеллект для скрининга рака шейки матки: Предварительный обзор, 2009-2022 гг.

Резюме

Предусловия

Пересечение искусственного интеллекта (ИИ) с исследованиями рака растет, и многие достижения сосредоточены на анализе изображений рака.

Цель

Описать и обобщить литературу по диагностической точности ИИ в ранней визуализационной диагностике рака шейки матки в соответствии с Preferred Reporting Items for Systematic Reviews and Meta-Analyses Extension for Scoping Reviews (PRISMA-ScR).

Стратегия поиска

Была использована методология Arksey и O’Malley, а поиск в базах данных PubMed, Scopus и Google Scholar проводился с использованием комбинации ключевых слов на английском и испанском языках.

Критерии отбора

Обнаруженные названия и резюме были пересмотрены для отбора оригинальных отчетов и перекрестной проверки на наличие совпадений в случаях.

Сбор и анализ данных

Описательный итог был организован по алгоритму ИИ, который использовался, общему количеству проанализированных изображений, источнику данных, клиническим критериям сравнения и результативности диагностики.

Основные результаты

Мы отобрали 32 исследования, опубликованные между 2009 и 2022 годами. Основными источниками изображений были цифровая кольпоскопия, цервикография и мобильные устройства. Алгоритмы машинного обучения/глубокого обучения (ГО), примененные в статьях, включали метод опорных векторов (МОВ), классификатор случайных лесов, k-ближайших соседей, многослойный перцептрон, C4. 5, Naïve Bayes, AdaBoost, XGboots, условные случайные поля, классификатор Байеса, сверточная нейронная сеть (СНС; и вариации), ResNet (несколько версий), YOLO+EfficientNetB0, и группа визуальной геометрии (ГВГ; несколько версий). Методы МОВ и ГО (СНС, ResNet, ГВГ) показали лучшие результаты диагностики с точностью более 97%.

Заключение

Мы пришли к выводу, что использование ИИ для скрининга рака шейки матки с годами возросло, а некоторые результаты (преимущественно из ГО) являются очень многообещающими. Однако для подтверждения этих выводов необходимы дальнейшие исследования.

1 ВСТУПЛЕНИЕ

Рак шейки матки является четвертой основной причиной смерти от рака среди женщин во всем мире,1 причем 70% случаев приходится на развивающиеся страны.2 Заболевание причинно связано с персистирующей инфекцией определенными онкогенными типами вируса папилломы человека (ВПЧ), в большинстве случаев с высоким риском 16 и 18 типов.1 Адекватное внедрение программ первичной и вторичной профилактики, включая раннее выявление предраковых образований и ВПЧ-инфекции с помощью цервикально-вагинальной цитологии и генотипирования вируса на основе анализа ДНК, соответственно, могло бы существенно снизить смертность.2

Цитология имеет ряд ограничений. Чувствительность варьируется от 52,9% до 80%, а специфичность – от 56,6% до 99,2%.3, 4 Эти различия в операционных характеристиках теста могут быть связаны с различиями между патологами и подготовкой лиц, ответственных за забор образцов.5, 6 В некоторых странах доставка результатов пациентке может занять до 2 недель, что приводит к тому, что большой процент женщин не обращаются за результатами.7 В сельских общинах с плохой инфраструктурой для цитологического анализа часто используют визуальный осмотр с уксусной кислотой (VIA). Визуальный осмотр с помощью уксусной кислоты может требовать меньшего профессионального опыта, но требует учебных навыков для оценки уксуснобелых участков, и имеет чувствительность 53%-73% и специфичность 82%-87% для патологий шейки матки.8 Анализ ДНК ВПЧ имеет высокую чувствительность 94% и специфичность от 84% до 90%.8 Несмотря на продемонстрированную точность первичного тестирования на ВПЧ, внедрение этого метода происходит медленно из-за ограниченной доступности тестов, а также потребности в очень сложных лабораториях, которые позволяют проводить амплификацию нуклеиновых кислот и полимеразную цепную реакцию. В частности, его внедрение является сложным в сельской местности и районах с низким уровнем дохода, где наблюдаются очень высокие показатели заболеваемости и смертности от рака шейки матки.9–11

Диагностика шейки матки с помощью методов, основанных на изображениях, независимо от того, проводится ли она путем непосредственного визуального осмотра или с помощью кольпоскопа, в значительной степени зависит от субъективного опыта и навыков, приобретенных во время профессиональной подготовки. На сегодняшний день золотым стандартом диагностики является кольпоскопия, а при необходимости – биопсия. Кольпоскопия способствует увеличению изображений, что позволяет выявить неровности тканей, которые могут быть незаметными для невооруженного глаза. Тем не менее, на точность диагностики влияет как межнаблюдательная, так и внутринаблюдательная вариабельность, а специфичность является низкой и колеблется от 30% до 70%. Цифровая кольпоскопия в сочетании с глубоким обучением (ГО) может иметь потенциал для улучшения автоматической классификации изображений 12 , но все еще требует профессионального опыта и наличия кольпоскопов, что часто ограничено в сельской местности в странах с низким уровнем дохода. Изображения шейки матки, полученные с помощью смартфонов и отправленные на кольпоскоп, могут быть полезным диагностическим тестом для этих районов, но недавний систематический обзор показал ограниченную чувствительность и специфичность.13

В последнее время научное сообщество разрабатывает устройства на основе искусственного интеллекта (ИИ) для гистологической или визуальной диагностики как реальную альтернативу 13, которая может преодолеть вышеупомянутые ограничения. Диагностическая визуализация шейки матки, включая зону трансформации, где происходит 87% поражений,8 может обеспечить достоверную диагностику в режиме реального времени с меньшими лабораторными требованиями и без потребности в высококвалифицированном персонале. На Рисунке 1 показаны различные алгоритмы ИИ, которые были использованы в медицинских исследованиях.

РИСУНОК 1

Классификация алгоритмов машинного обучения.

ИИ относится к вычислительным системам, которые запрограммированы функционировать подобно человеческому разуму. Эти системы предназначены для обучения на основе опыта, принятия автономных решений и адаптации к меняющейся среде для достижения конкретных целей, таких как автоматическая классификация изображений 7, 8 и диагностика на основе изображений. Например, машинное обучение (МО) и ГО предусматривают обучение компьютера выполнять задачи с определенной целью без явного программирования правил, как это делать.14, 15 Такой подход может быть особенно полезным в развивающихся странах и общинах, расположенных далеко от городских центров.

Диагностика рака шейки матки на основе применения ИИ на изображениях предполагает обучение управляемого алгоритма (МО или ГО) на изображениях, маркированных экспертом. Во время этого обучения системы МО (интеллектуальные агенты) обучаются различать изображения разных классов (нормальные или патологические), а параметры математических моделей, описывающих эти методы, оптимизируются. После успешного обучения алгоритмы оцениваются с помощью валидационных изображений для измерения их способности к идентификации и обобщению с использованием установленных метрик классификации, таких как точность, чувствительность, специфичность, площадь под кривой (рабочая характеристика приемника) и оценка F1, среди прочих. В частности, алгоритм ИИ находит закономерности или дискриминационные признаки на изображениях. Например, сверточная нейронная сеть (СНС) разбивает изображение на несколько сверточных фильтров, способных выявить основные и простые паттерны (линии или формы), а также более сложные паттерны, такие как края или текстуры. Таким образом выделяются уникальные особенности, которые используются для дифференциации нормального изображения от патологического. Хотя интеграция ИИ в диагностику рака шейки матки с помощью визуализации претерпела значительный рост, цель состоит не в том, чтобы заменить специалиста, а в том, чтобы разработать автоматизированные, надежные и быстрые системы поддержки диагностики, которые повышают общую эффективность.

Несмотря на значительные достижения в области ИИ в медицине, применение ИИ в диагностике рака шейки матки еще не является широко известным. Сейчас мы сосредоточены на исследовании, направленном на разработку и проверку портативной системы для скрининга рака шейки матки (номер гранта 125189783229, 897/2021, Министерство науки, технологий и инноваций Колумбии). Это устройство намерено использовать ИИ для классификации изображений шейки матки. Отсюда вытекает два исследовательских вопроса: Во-первых, какой алгоритм ИИ был разработан для обнаружения рака шейки матки по изображениям шейки матки? Во-вторых, какие алгоритмы являются наиболее перспективными для скрининга и диагностики рака шейки матки? Чтобы ответить на эти вопросы, был проведен предварительный обзор, чтобы определить и сконденсировать существующие данные о точности классификации методов МО в выявлении рака шейки матки с помощью анализа изображений шейки матки. Такой дизайн исследования позволяет изучить широту доказательной базы и определить, можно ли проводить дальнейший систематический обзор.16 Мы придерживались Preferred Reporting Items for Systematic Reviews and Meta-Analyses Extension for Scoping Reviews (PRISMA-ScR).

2 МАТЕРИАЛЫ И МЕТОДЫ

2.1 Тип исследования и источники информации

Мы провели обзор статей, опубликованных в период с 1 января 2009 года по 31 декабря 2022 года, по методологии Arksey and O’Malley на основе источников PubMed, Scopus и Google Scholar. Мы использовали комбинацию испанских и английских ключевых слов, включая рак шейки матки или новообразования шейки матки, а также ИИ или МО, ГО, визуальный или прямой визуальный осмотр. Кроме того, мы использовали стратегию “снежного кома” для определения дополнительных источников из ссылок на некоторые полные тексты. Были использованы термины MeSH (Медицинские предметные рубрики) и свободнотекстовые термины.

2.2 Критерии приемлемости

Мы включили оригинальные статьи количественных исследований и тезисы конференций, в которых четко описано применение МО/ГО для классификации изображений шейки матки, полученных с помощью цифровой кольпоскопии, цервикографии или мобильных устройств, используемых для классификации. Показатели точности, чувствительности, специфичности или AUC должны быть идентифицированы в каждой статье. Мы исключили статьи о сегментации изображений при раке шейки матки, поскольку они не были посвящены применению МО/ГО, статьи о применении МО/ГО в гистологии и гистопатологии, обзорные статьи, тезисы, патенты, редакционные статьи, письма к редактору, статьи, которые не имели полного текста, а также статьи, цели исследования которых не давали ответа на исследовательский вопрос.

2.3 Извлечение данных

Сначала двое исследователей определили стратегию исследования и оценили, соответствуют ли названия и аннотации критериям включения. После исключения дубликатов были прочитаны полные тексты для определения потенциальных критериев исключения. Разногласия относительно соответствия критериям отбора решались путем обсуждения с другим членом команды. Были получены данные о типе алгоритма, количестве изображений, первоисточнике изображений, референтном тесте, который использовался в качестве компаратора, и эффективности диагностики. Мы не проводили специальной оценки риска предвзятости для включенных исследований. Качество доступной литературы оценивали по математическому соотношению между целью и результатами исследования.

2.4 Синтез и анализ данных

Данные были организованы в матрицу доказательств в стандартизированный шаблон с помощью Microsoft Excel 2016 (Microsoft Corporation), протестированный исследовательской группой, который отражает год публикации, журнал, страну, использованный алгоритм МО/ГО, источник изображений шейки матки и диагностическую эффективность. Мы использовали абсолютные цифры и проценты для первичного описания исследований в соответствии с годом публикации, языком, континентом, источником изображений и предметной областью журнала, указанной в Scopus или в описании веб-страницы журнала. Мы сообщили о значениях чувствительности, специфичности, AUC и диагностической точности, которые являются общими показателями для оценки эффективности теста. Мы определили, что алгоритм имеет хорошую диагностическую способность, если его чувствительность составляет >95%, а специфичность >90%, при этом значение ДНК ВПЧ служат эталоном.8 Кроме того, значение AUC и точность >0,90 считались показателями отличной производительности.17, 18

3 РЕЗУЛЬТАТЫ

3.1 Выбор источников доказательств

Всего было найдено 1625 исследований, из которых 913 были исключены на основе аннотаций, поскольку они не соответствовали цели исследования, а 84 были исключены после прочтения полных текстов статей, поскольку они не соответствовали критериям отбора. Наконец, мы отобрали 32 статьи, опубликованные между 2009 и 2022 годами, которые описывают достижения МО/ГО для классификации изображений шейки матки в контексте профилактики и скрининга. На Рисунке 2 показана блок-схема включения исследований. В Таблице 1 приведены характеристики просмотренных статей.

РИСУНОК 2

Схема поиска литературы по искусственному интеллекту для скрининга рака шейки матки, 2009-2022 гг. исследования CLARA.19

ТАБЛИЦА 1. Характеристика проанализированных исследований: ШИ и скрининг рака шейки матки, 2009-2022 гг. (n = 32).

• Аббревиатура: ИИ, искусственный интеллект.

Рисунок 3 иллюстрирует постепенный рост количества исследований как в МО, так и в ГО, со значительным всплеском в 2020 году для рака шейки матки и изображений шейки матки в целом. Наибольшее количество публикаций приходится на Соединенные Штаты и Индию – девять и восемь соответственно. Большинство проанализированных изображений были получены с помощью кольпоскопии, включая цифровую кольпоскопию, за ней следовали цервикограммы и изображения, полученные с помощью устройств на базе Android. Все включенные исследования были опубликованы на английском языке, большинство из них – в журналах по компьютерным наукам (n = 13 [41%]), за которыми следовали медицинские журналы (n = 12 [38%]). Таким образом, восемь из 32 включенных исследований (25%) использовали ≤200 изображений для обучения и оценки.

РИСУНОК 3

Процент публикаций об искусственном интеллекте и скрининге рака шейки матки, 2009-2022 (n = 32).

3.2 Результаты эффективности методов МО и ГО в включенных исследованиях

Алгоритмы классификации, примененные в этих исследованиях (см. Таблицу 2), были в основном методами управляемого обучения, такими как машина опорных векторов (МОВ; n = 6), случайный лес (n = 3), условные случайные поля (n = 2), C4. 5 (n = 1), Naïve Bayes (n = 3), k-ближайший сосед (KNN; n = 3), многослойный перцептрон (МСП; n = 1), градиентный бустинг (n = 2), AdaBoost (n = 2), СНС (и его вариации) (n = 12), ResNet (и его вариации) (n = 5), группа визуальной геометрии (ГВГ; n = 2) и YOLO+EfficientNetB0 (n = 1).

ТАБЛИЦА 2. Опубликованные исследования с использованием алгоритмов ИИ для классификации рака шейки матки, 2009-2022 гг.

Сокращения: AI, искусственный интеллект; AUC, площадь под кривой; AVE, автоматизированная визуальная оценка; CAIADS, кольпоскопическая вспомогательная диагностическая система с искусственным интеллектом; CNN, сверточная нейронная сеть; CYENET, CycleGAN и сети переноса стилей; DT, деревья решений; GIVI, изображение сосудов с зеленой подсветкой; GRCNN, сверточная нейронная сеть с закрытыми рекуррентными связями; KNN, k-ближайший сосед; ML, машинное обучение; NB, Naïve Bayes; R-CNN, сверточная нейронная сеть на основе региона; RF, случайный лес; SVM, машина опорных векторов; VGG, группа визуальной геометрии; VIA, визуальный осмотр с уксусной кислотой; VILI, визуальный осмотр шейки матки с раствором Люголя; XGB, экстремальный градиентный бустинг.

• a Несколько изображений было получено от 48 пациентов; не указано, сколько из них было использовано для обучения и валидации.
• b Десять изображений в течение первых 10 с и 300 изображений в течение следующих 5 мин для каждой женщины.

Не все исследования сообщили об одинаковых параметрах диагностической точности, и только 11 из 32 исследований использовали биопсию в качестве референтного теста. О точности сообщалось в 22 исследованиях, о чувствительности и специфичности – в 19 исследованиях, а об AUC – в 14 исследованиях. Относительно чувствительности, то 15,6% сообщали о значении выше ожидаемой точки отсечения (95%). Исследование с самой высокой чувствительностью было основано на МОВ, за которым следует GRCNN, тогда как худшая чувствительность была получена при использовании ГВГ-19, за которым следуют МСП-сети. Что касается специфичности, 21,9% сообщили о значении выше ожидаемой точки отсечения (90%). Относительно точности или AUC, 56,2% сообщили о значении выше ожидаемой точки отсечения.

4 ОБСУЖДЕНИЕ

В этом обзоре мы проанализировали 32 научные статьи за 13 лет (2009-2022) об использовании МО, включая алгоритмы ГО, для классификации изображений в скрининге рака шейки матки. Результаты указывают на растущую тенденцию использования ГО с годами. Большинство исследований были опубликованы в неклинических журналах. Это подчеркивает необходимость распространения этих алгоритмов в медицинских журналах для содействия клиническим исследованиям, связанным с ИИ как диагностическим инструментом.

4.1 Типы алгоритмов

Для скрининга рака шейки матки используется несколько алгоритмов МО и ГО с контролем. Например, мы встречаем хорошо известные МО-методы, такие как МОВ, случайный лес и KNN, среди других. Кроме того, мы наблюдаем впечатляющую производительность ГО-подходов, особенно СНС и его вариаций. Наконец, недавние исследования синергетически объединили алгоритмы МО и ГО с помощью трансферного обучения, что повысило чувствительность и специфичность диагнозов. Эти выводы указывают на перспективные направления для будущих исследований в этой области.

4.2 Производительность алгоритмов

Результаты исследований, проведенных до сих пор, демонстрируют многообещающие результаты с точки зрения диагностической эффективности. Тем не менее, результаты различаются в разных исследованиях с точки зрения специфичности, чувствительности, AUC и общей точности. С появлением новых алгоритмов, дискриминационная способность также улучшилась, особенно с 2018 года. Чувствительность выросла с примерно 70% до 2015 года до уровня, превышающего 90% с 2018 года. Текущие исследования с использованием методологий ГО 22–24, 26–31, 34, 37, 38 демонстрируют обнадеживающие результаты, достигая показателей AUC, точности и чувствительности, превышающих 90%. Это возродило энтузиазм по применению ГО в этой области. К сожалению, часть исследований представила только показатели AUC или точности для таких алгоритмов, как случайный лес,45 ResNet,26 и YOLO+EfficientNetB0.23 Следовательно, прямые сравнения становятся сложными из-за неполноты определенных измерений. В частности, СНС продемонстрировал исключительную диагностическую эффективность в рассмотренных исследованиях, превосходя их как по чувствительности, так и по специфичности. Стоит отметить, что между четырьмя опубликованными исследованиями 31, 37, 38, 51, в которых использовался СНС, существуют значительные различия в размерах выборок. Заметным исключением является исследование, проведенное Hu и коллегами в 2019 году,40 которое включает большой массив данных из более 9000 цервикограмм, полученных от когорты пациенток в Гуанакасте, Коста-Рика. Они применили СНС для анализа изображений и достигли AUC 0,91. Эта AUC превосходит диагностическую точность традиционной цитологии, жидкостной цитологии, цервикографии и даже методов обнаружения ДНК ВПЧ начального поколения. Наконец, можно утверждать, что МОВ также продемонстрировал многообещающие результаты.

В соответствии с вышесказанным, как МОВ (МО), так и СНС (ГО) могут более эффективно выводить и различать информацию, содержащуюся в изображениях шейки матки, что позволяет автоматически и надежно идентифицировать пациенток с поражениями шейки матки или даже раком. Преимуществом СНС является использование фильтров, которые выделяют простые и сложные признаки из изображения в свернутом слое, тогда как в плотных слоях ему удается различать эти признаки в зависимости от класса. Поэтому можно утверждать, что СНС является одновременно и экстрактором, и классификатором. С другой стороны, МОВ требует отдельного этапа экстракции и отбора признаков. Однако для подтверждения эффективности этой методологии в контексте скрининговых программ необходимы дальнейшие проспективные клинические исследования.52 Как и ожидалось, комбинирование алгоритмов привело к улучшению общей производительности. Например, ResNet+клинические признаки,27 ансамблевый классификатор,24, 25 и Cervical Net + МОВ 21 достигли отличных показателей.

4.3 Гетерогенность исследований

Исследования неоднородны в отношении разнообразия включенных популяций, использования различных компараторов и отчетов о различных характеристиках тестов. Эта неоднородность препятствует прямому сравнению алгоритмов. В некоторых исследованиях в качестве компаратора использовали клиническое мнение, а не золотой стандарт (биопсию)41 , что может привести к ошибке классификации.

В некоторых случаях включение пациенток высокого риска, которые уже были направлены на кольпоскопию из-за подозрения на серьезные изменения 44, 50, не позволяет обобщить результаты на целевую популяцию для скрининга и может привести к переоценке чувствительности. Кроме того, количество изображений в исследованиях, как правило, было небольшим, за исключением исследования Guanacaste.40 Это вызывает беспокойство, учитывая, что рак шейки матки может иметь различные макроскопические проявления у разных пациентов. Исследование, в котором было использовано больше всего изображений, было разработано Xue и соавт.35, в котором были собраны изображения кольпоскопии и другие не кольпоскопические изображения для обучения и оценки.

Хотя ранее опубликованное исследование показало, что применение анализа изображений для цитологии шейки матки является относительно зрелым 53, наше исследование подчеркивает необходимость стандартизации дизайна и отчетности о результатах исследований в области анализа изображений шейки матки на основе МО.

В 2018 году Fernandes и соавт.54 опубликовали нарративный обзор, в котором предоставили всесторонний обзор компонентов, задействованных в автоматическом анализе изображений цифровой кольпоскопии, что может помочь инженерам в совершенствовании процесса получения и анализа изображений. Поскольку количество публикаций об использовании МО и ГО в скрининге рака шейки матки продолжает расти, проведение более полной и тщательной оценки имеющихся доказательств может быть оправданным. Стандартизация является особенно актуальной, особенно при проведении мета-анализа как на индивидуальном, так и на сетевом уровнях. Включение руководящих принципов отчетности для исследований ИИ, таких как контрольный список Minimum Information About Clinical Artificial Intelligence Modeling (MI-CLAIM)54 , может обеспечить повышенную прозрачность и точность результатов этих обзоров. Это, в свою очередь, позволяет лучше сравнивать и оценивать различные используемые алгоритмы. Следовательно, будущие исследования должны стремиться к соблюдению этих рекомендаций.

4.4 Ограничения осмотра

Насколько нам известно, это первый обзор, который включает синтез диагностических характеристик используемых алгоритмов, что напрямую связано с потенциальным клиническим применением ИИ. Несмотря на этот вклад, обзор имеет некоторые ограничения. Качество доказательств не было детально оценено, поскольку авторы имели целью исследовать доказательства по использованию МО и ГО для скрининга рака шейки матки через классификацию изображений шейки матки в общем виде. Кроме того, результаты различных алгоритмов обучения не сравнивались из-за отсутствия однородности результатов, о которых сообщалось, поскольку в некоторых исследованиях сообщалось только о точности, тогда как в других – об AUC, чувствительности и специфичности. Наконец, мы не оценивали, проводилась ли внешняя валидация в исследованиях, что вызывает беспокойство относительно точности диагностики, поскольку обучающие тесты часто дают лучшие результаты.

4.5 Будущие исследования

Как показано в Таблице 1, необходимо проводить специальные исследования в странах с ограниченными ресурсами и высоким уровнем распространенности заболевания, включая такие регионы, как некоторые страны Латинской Америки и Южной Африки.55 Следует отметить, что проспективные клинические исследования необходимы для оценки реальной эффективности систем, основанных на ГО, среди различных популяций пациентов. Эти исследования также должны учитывать такие факторы, как экономическая эффективность, целесообразность и удобство использования. Кроме того, этические и регуляторные соображения должны быть тщательно рассмотрены для обеспечения ответственного использования ГО в выявлении рака шейки матки.

5 ЗАКЛЮЧЕНИЕ

Результаты использования алгоритмов МО/ГО для диагностической дискриминации, особенно с точки зрения чувствительности, являются многообещающими для диагностики рака шейки матки на основе изображений шейки матки и имеют потенциал быть экономически эффективными, особенно в странах с низкими ресурсами. Тем не менее, доказательства остаются неубедительными, а текущие дизайны исследований ограничивают их применение в клинических сценариях скрининга.34 Необходимы дальнейшие исследования для подтверждения применения этих технологий в клинических условиях, включая оценку популяций пациентов, участвующих в скрининговых программах. Среди различных алгоритмов МО/ГО наилучшие результаты показали СНС, ResNet, YOLO+EfficientNetB0 и МОВ. Поэтому мы считаем СНС и их вариации самыми эффективными методами выявления рака шейки матки по изображениям кольпоскопии.

ССЫЛКИ НА ИСТОЧНИКИ

1.   Cancer  (IARC)  TIA  for  R  on.  Global  Cancer  Observatory  n.d. Accessed February 22, 2023. https://gco.iarc.fr/  
2.   Organización Panamericana de la Salud. Plan de acción sobre la prevención  y  el  control  del  cáncer  cervicouterino  2018–2030. 2018.  
3.   Murillo R, Almonte M, Pereira A, et al. Cervical cancer screening pro-grams in Latin America and the Caribbean. Vaccine. 2008;26(Suppl 11):L37-L48. doi:10.1016/j.vaccine.2008.06.013  
4.   Carrascal M, Chávez C, Sesin F. Correlación diagnóstica de la ci-tología  cervical  versus  colposcopia  en  lesiones  premalignas de  cáncer  cervicouterino.  IPS  Universitaria  Barranquilla  2013. Biociencias. 2014;9:37-43.  
5.   Sørbye SW, Suhrke P, Revå BW, Berland J, Maurseth RJ, Al-Shibli K. Accuracy of cervical cytology: comparison of diagnoses of 100 pap smears read by four pathologists at three hospitals in Norway. BMC Clin Pathol. 2017;17:18. d o i :10 .11 8 6 /s1 2 9 0 7- 0 17-   0 0 5 8 –    8  
6.   Wentzensen  N,  Fetterman  B,  Castle  PE,  et  al.  p16/Ki-67  dual stain cytology for detection of cervical precancer in HPV-positive women. J   Natl   Cancer   Inst.   2015;107:djv257.   doi:10.1093/jnci/djv257  
7.   Urrutia  M-T,  Poupin  L.  Women  with  cervical  cancer:  percep-tions  about  the  papanicolaou  test. Aquichan.  2015;15:499-507. doi:10.5294/aqui.2015.15.4.5  
8.   Mustafa RA, Santesso N, Khatib R, et al. Systematic reviews and meta-    analyses  of  the  accuracy  of  HPV  tests,  visual  inspection with acetic acid, cytology, and colposcopy. Int  J  Gynaecol  Obstet. 2016;132:259-265. doi:10.1016/j.ijgo.2015.07.024  
9.   Committee  on  Practice  Bulletins—Gynecology.  ACOG  practice bulletin number 131: screening for cervical cancer. Obstet Gynecol. 2012;120:1222-1238. doi:10.1097/aog.0b013e318277c92a 
10.   Yu L, Sabatino SA, White MC. Rural-urban and racial/ethnic dispari-ties in invasive cervical cancer incidence in the United States, 2010– 2014. Prev Chronic Dis. 2019;16:E70. doi:10.5888/pcd16.180447 
11.   Li X, Deng Y, Tang W, et al. Urban-rural disparity in cancer inci-dence, mortality, and survivals in Shanghai, China, during 2002 and 2015. Front Oncol. 2018;8:579. doi:10.3389/fonc.2018.00579
12.   Xue P, Ng MTA, Qiao Y. The challenges of colposcopy for cervical cancer screening in LMICs and solutions by artificial intelligence. BMC Med. 2020;18:169. d o i :10 .11 8 6 /s1 2 9 1 6 – 0 2 0 –    0 1 61 3 – x
13.   Champin D, Ramírez-Soto MC, Vargas-Herrera J. Use of smart-phones for the detection of uterine cervical cancer: a systematic review. Cancers   (Basel).  2021;13(23):6047. doi:10.3390/cancers13236047 
14.   Garcia-Canadilla  P,  Sanchez-Martinez  S,  Crispi  F,  Bijnens  B. Machine learning in fetal cardiology: what to expect. Fetal  Diagn  Ther. 2020;47:363-372. doi:10.1159/000505021
15.   Grant MJ, Booth A. A typology of reviews: an analysis of 14 review types and associated methodologies. Health Inf Libr J. 2009;26:91-108.    doi:10.1111/j.1471-1842.2009.00848.x
16.   Munn Z, Peters MDJ, Stern C, Tufanaru C, McArthur A, Aromataris E. Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach. BMC Med Res Methodol. 2018;18:143. d o i :10 .11 8 6 /s1 2 8 74 – 0 1 8 –    0 611-    x 
17.   Mandrekar JN. Receiver operating characteristic curve in diagnos-tic test assessment. J Thorac Oncol. 2010;5:1315-1316. doi:10.1097/JTO.0b013e3181ec173d
18.   Hosmer  DW,  Lemeshow  S.  Assessing  the  fit  of  the  model.  In: Shewhart WA, Wilks SS, Hosmer DW, Lemeshow S, eds. Applied Logistic  Regression. John Wiley & Sons, Ltd; 2000:143-202. doi:10.1002/0471722146.ch5 
19.   Hunt B, Fregnani JHTG, Brenes D, et al. Cervical lesion assessment using real-time microendoscopy image analysis in Brazil. The CLARA study. Int J Cancer. 2021;149(2):431–441. doi:10.1002/ijc.33543
20.   Kim J, Park C, Kim S, Cho A. Convolutional neural network-based classification  of  cervical  intraepithelial  neoplasias  using  colpo-scopic  image  segmentation  for  acetowhite  epithelium. Sci  Rep. 2022;12:17228. d o i :10 .10 3 8 /s 41 59 8 – 0 2 2-   2 1 6 9 2-     5
21.   Harsono AB, Susiarno H, Suardi D, et al. Cervical pre-cancerous lesion  detection:  development  of  smartphone-based  VIA  appli-cation using artificial intelligence. BMC  Res  Notes.  2022;15:356.  d o i :10 .11 8 6 /s1 3 10 4 – 0 2 2-    0 6 2 5 0 – 6
22.   Huang W, Sun S, Yu Z, Lu S, Feng H. Chronic cervicitis and cer-vical  cancer  detection  based  on  deep  learning  of  colposcopy images  toward  translational  pharmacology. Front   Pharmacol. 2022;13:911962. doi:10.3389/fphar.2022.911962
23.   Habtemariam LW, Zewde ET, Simegn GL. Cervix type and cervical cancer classification system using deep learning techniques. Med Devices (Auckl). 2022;15:163-176. doi:10.2147/MDER.S366303
24.   Takahashi T, Matsuoka H, Sakurai R, et al. Development of a prog-nostic prediction support system for cervical intraepithelial neo-plasia using artificial intelligence-based diagnosis. J Gynecol Oncol. 2022;33(5):e57. doi:10.3802/jgo.2022.33.e57
25.   Nikookar E, Naderi E, Rahnavard A. Cervical cancer prediction by merging features of different colposcopic images and using ensem-ble classifier. J Med Signals Sens. 2021;11:67-78. doi:10.4103/jmss.JMSS_16_20
26.   Park YR, Kim YJ, Ju W, Nam K, Kim S, Kim KG. Comparison of machine and deep learning for the classification of cervical can-cer  based  on  cervicography  images. Sci   Rep.  2021;11:16143. d o i :10 .10 3 8 /s 41 59 8 – 0 2 1-   9 5 74 8 – 3 
27.   Liu L, Wang Y, Liu X, et al. Computer-aided diagnostic system based on deep learning for classifying colposcopy images. Ann Transl Med. 2021;9:1045. d o i :10 . 2 10 3 7/a t m – 2 1-   8 8 5
28.   Yu Y, Ma J, Zhao W, Li Z, Ding S. MSCI: a multistate dataset for col-poscopy image classification of cervical cancer screening. Int J Med Inform. 2021;146:104352. doi:10.1016/j.ijmedinf.2020.104352 
29.   Chandran V, Sumithra MG, Karthick A, et al. Diagnosis of cervical cancer based on ensemble deep learning network using colposcopy images. Biomed Res Int. 2021;2021:e5584004. doi:10.1155/2021/5584004
30.   Cho B-J, Choi YJ, Lee M-J, et al. Classification of cervical neo-plasms on colposcopic photography using deep learning. Sci  Rep. 2020;10:13652. d o i :10 .10 3 8 /s 41 59 8 – 0 2 0 –   7 0 4 9 0 – 4
31.   Yue Z, Ding S, Zhao W, et al. Automatic CIN grades prediction of sequential cervigram image using LSTM with multistate CNN fea-tures. IEEE J Biomed Health Inform. 2020;24:844-854. doi:10.1109/JBHI.2019.2922682
32.   Bae JK, Roh H-J, You JS, et al. Quantitative screening of cervical cancers  for  low-resource  settings:  pilot  study  of  smartphone-based  endoscopic  visual  inspection  after  acetic  acid  using  ma-chine learning techniques. JMIR  Mhealth  Uhealth. 2020;8:e16467. doi:10.2196/16467
33.   Asiedu MN, Skerrett E, Sapiro G, Ramanujam N. Combining multi-ple contrasts for improving machine learning-based classification of cervical cancers with a low-cost point-of-  care pocket colpo-scope. Annu Int Conf IEEE Eng Med Biol Soc. 2020;2020:1148-1151. doi:10.1109/EMBC44109.2020.9175858
34.   Kudva V, Prasad K, Guruvare S. Hybrid transfer learning for classifi-cation of uterine cervix images for cervical cancer screening. J Digit Imaging. 2020;33(3):619-631. d o i :10 .10 0 7/s10 2 7 8 – 0 19 –   0 0 2 6 9 – 1 
35.   Xue P, Tang C, Li Q, et al. Development and validation of an artificial intelligence system for grading colposcopic impressions and guiding biopsies. BMC Med. 2020;18:406. doi:10.1186/s12916- 020-   01860- y
36.   Xue Z, Novetsky AP, Einstein MH, et al. A demonstration of auto-mated visual evaluation of cervical images taken with a smartphone camera. Int J Cancer. 2020;147:2416-2423. doi:10.1002/ijc.33029 
37.   Miyagi Y, Takehara K, Nagayasu Y, Miyake T. Application of deep learning to the classification of uterine cervical squamous epithelial lesion from colposcopy images combined with HPV types. Oncol Lett. 2020;19:1602-1610. doi:10.3892/ol.2019.11214
38.   Yuan C, Yao Y, Cheng B, et al. The application of deep learning based diagnostic system to cervical squamous intraepithelial le-sions recognition in colposcopy images. Sci  Rep.  2020;10:11639.  doi:10.1038/s41598-020-   68252-3 
39.   Asiedu MN, Simhal A, Chaudhary U, et al. Development of algo-rithms  for  automated  detection  of  cervical  pre-cancers  with  a low-   cost, point- of-  care, pocket colposcope. IEEE Trans Biomed Eng. 2019;66:2306-2318. doi:10.1109/TBME.2018.2887208
40.   Hu L, Bell D, Antani S, et al. An observational study of deep learning and automated evaluation of cervical images for cancer screening. J Natl Cancer Inst. 2019;111:923-932. doi:10.1093/jnci/djy225 
41.   Kudva  V,  Prasad  K,  Guruvare  S.  Andriod  device-based  cervi-cal cancer screening for resource-poor settings. J  Digit  Imaging. 2018;31(5):646-654. d o i :10 .10 0 7/s10 2 7 8 – 0 1 8 –    0 0 8 3 –    x
42.   Vasudha A, Mittal MJ. Cervix cancer classification using colpos-copy images by deep learning method. Int  J  Eng  Technol  Sci  Res. 2018;5:426-432.
43.   Sato M, Horie K, Hara A, et al. Application of deep learning to the classification of images from colposcopy. Oncol Lett. 2018;15:3518-3523. doi:10.3892/ol.2018.7762
44.   Gutiérrez-Fragoso  K,  Acosta-Mesa  HG,  Cruz-Ramírez  N, Hernández-Jiménez  R.  Optimization  of  classification  strate-gies  of  Acetowhite  temporal  patterns  towards  improving  diag-nostic  performance  of  colposcopy. Comput  Math  Methods  Med. 2017;2017:5989105. doi:10.1155/2017/5989105
45.   Sukumar P, Gnanamurthy R. Computer aided screening of cervical cancer using random forest classifier. Res  J  Pharm,  Biol  Chem  Sci. 2016;7:1521-1529.
46.   Xu T, Kim E, Huang X. Adjustable adaboost classifier and pyra-mid features for image-based cervical cancer diagnosis. 2015 IEEE 12th  International  Symposium  on  Biomedical  Imaging  (ISBI).  IEEE; 2015:281-285. doi:10.1109/ISBI.2015.7163868 
47.   Simões PW, Izumi NB, Casagrande RS, et al. Classification of images acquired with colposcopy using artificial neural networks. Cancer Informat. 2014;13:119-124. doi:10.4137/CIN.S17948
48.   Pretty Mary D, Anandan V, Srinivasagan KG. An effective diag-nosis  of  cervical  cancer  neoplasia  by  extracting  the  diagnostic features using CRF. 2012  International  Conference  on  Computing,  Electronics and Electrical Technologies (ICCEET). IEEE; 2012:563-570. doi:10.1109/ICCEET.2012.6203885 
49.   Park SY, Sargent D, Lieberman R, Gustafsson U. Domain-specific image analysis for cervical neoplasia detection based on condi-tional random fields. IEEE  Trans  Med  Imaging.  2011;30:867-878. doi:10.1109/TMI.2011.2106796
50.   Acosta-Mesa H-G, Cruz-Ramírez N, Hernández-Jiménez R. Aceto- white temporal pattern classification using k-NN to identify pre-cancerous cervical lesion in colposcopic images. Comput Biol Med. 2009;39:778-784. doi:10.1016/j.compbiomed.2009.06.006 
51.   Devi MA, Ravi S, Vaishnavi J, Punitha S. Classification of cervi-cal cancer using artificial neural networks. Procedia  Comput  Sci. 2016;89:465-472. doi:10.1016/j.procs.2016.06.105
52.   Rubin R. Artificial intelligence for cervical precancer screening. JAMA. 2019;321:734. doi:10.1001/jama.2019.0888
53.   Hou  X,  Shen  G,  Zhou  L,  Li  Y,  Wang  T,  Ma  X.  Artificial  intelli-gence  in  cervical  cancer  screening  and  diagnosis. Front  Oncol. 2022;12:851367. doi:10.3389/fonc.2022.851367
54.   Fernandes K, Cardoso JS, Fernandes J. Automated methods for the  decision  support  of  cervical  cancer  screening  using  digital colposcopies. IEEE   Access.  2018;6:33910-33927. doi:10.1109/ACCESS.2018.2839338 
55.   Miller  KD,  Siegel  RL,  Lin  CC,  et  al.  Cancer  treatment  and  sur-vivorship  statistics,  2016. CA   Cancer   J   Clin.  2016;66:271-289. doi:10.3322/caac.21349