Статьи с темой: «рентгенология»
-
2026 № 10 От BERTScore к БГМ-судье: эволюция методов автоматической оценки качества медицинских систем на основе генеративных моделей.
Актуальность. Быстрое внедрение больших генеративных моделей (БГМ) в медицинскую практику требует надёжных инструментов оценки качества их работы. Классические метрики семантического сходства, изначально разработанные для задач машинного перевода, применяются, в том числе, для оценки работы БГМ. Помимо этого, в настоящее время все более актуальными становятся подходы с использованием БГМ в качестве судьи для решения аналогичных задач. Тем не менее, применимость автоматизированных метрик оценки семантического сходства и оценок при помощи БГМ-судей для определения фактологической точности ответов моделей на вопросы медицинской тематики остаётся недостаточно изученной.
Цель: провести сравнительный анализ классической семантической метрики BERTScore и современного подхода на основе БГМ-судьи (фреймворк DeepEval) для автоматической оценки качества ответов медицинской RAG-системы по-средством изучения корреляции автоматических метрик с эталонной экспертной оценкой.
Материалы и методы. Тестирование проводилось на наборе данных НД‑77, включающем в себя 77 пар вопросов по 7 тематикам, актуальным для врача-рентгенолога, и эталонных ответов экспертов. Для автоматической оценки использовались F1-мера метрики BERTScore и метрика фреймворка DeepEval – фактологическая точность (Answer Correctness).
Для формирования эталонных значений фактологической точности была проведена экспертная оценка ответов модели по 5-балльной шкале Ликерта. В качестве БГМ-судьи выступала модель Mistral-Small3.2:24b. Для расчета корреляции между показателями использовался коэффициент корреляции Спирмена.
Результаты. Всего при тестировании RAG-системы был получен 61 ответ из 77 (79,2%). Шестнадцать вопросов (20,8%) были оставлены без ответа вследствие отсутствия источников в базе знаний. По результатам проведенного тестирования не было зафиксировано ни одного случая галлюцинирования модели. На НД‑77 фактологическая точность составила 0,699 (95% ДИ: 0,648–0,748), F1-мера BERTScore – 0,477 (95% ДИ: 0,460–0,495). Корреляция с экспертной оценкой была выше у показателя фактологической точности (ρ = 0,711) по сравнению с F1-мерой BERTScore (ρ = 0,267).
Выводы. Подход к оценке качества работы генеративных моделей при помощи БГМ-судьи существенно превосходит классические семантические метрики по информативности при использовании для медицинских задач, однако применение БГМ-судьи в качестве полноценной альтернативы экспертной оценки требует дальнейшего изучения. -
2017 № 5 Эффективность использования оборудования лучевой диагностики в субъектах Российской Федерации
В статье проводится анализ данных государственного статистического наблюдения за период с 2011 по 2015 гг. Анализу подвергнуты показатели численности аппаратов лучевой диагностики, а именно рентгенографические аппараты, компьютерные томографы и магнитно-резонансные томографы, количество проведенных на них исследований и численность врачей-рентгенологов, работающих на данном оборудовании. Определена нагрузка на каждый аппарат в различных регионах. Определены наиболее эффективные регионы по использованию парка оборудования лучевой диагностики и их загруженности. Результаты исследования подтверждают гипотезу о том, что эффективность работы службы лучевой диагностики не зависит от количества оснащенности оборудованием регионов аппаратами лучевой диагностики. Данное исследование позволило выделить регионы с максимальной и минимальной эффективностью деятельности службы лучевой диагностики
-
2019 № 8 Референс-центр лучевой диагностики: обоснование и концепция
В лучевой диагностике сложилась ситуация (интенсивный рост инфраструктуры на фоне организационно-методических и управленческих проблем), которая требует нового системного подхода к организации и управлению. Обоснована концепция референс-центра лучевой диагностики как структуры в системе здравоохранения, обеспечивающей дистанционную оценку, интерпретацию, описание и контроль результатов лучевых исследований, выполняемых в медицинских организациях всех форм собственности, с применением телемедицинских технологий. Референс-центр должен совокупно решать организационно-методические, лечебно-диагностические, образовательные, информационно-координационные, научные задачи. Основу концепции составили систематизированные результаты публикаций и собственный успешный опыт создания и эффективного функционирования референс-центра на базе ГБУЗ г. Москвы «НПКЦ диагностики и телемедицинских технологий ДЗМ». На основе концепции требуется дальнейшая научно-практическая разработка нормативно-правового и методологического обеспечения деятельности референс-центров лучевой диагностики.