Дерматолог Магнус Линч провёл сравнительное исследование эффективности современных мультимодальных больших языковых моделей и классической архитектуры свёрточных нейросетей (CNN) в задачах визуальной диагностики патологий кожи. В рамках эксперимента 200 кожных образований с подтверждённым биопсией диагнозом были показаны новейшим системам GPT-6 Astra и Claude Fable 5.1, а также дообученной модели Inception v3 образца 2015 года. Результаты оказались неожиданными для сторонников универсального ИИ: узкоспециализированная CNN верно определила патологию в 125 случаях из 200 (62%), тогда как показатели передовых мультимодальных моделей составили лишь 84 и 85 правильных ответов (около 42%).

Особенно тревожным аспектом исследования стал характер ошибок, допускаемых универсальными генеративными моделями. В одном из критических кейсов опасную меланому на раковине уха обе LLM классифицировали как безобидный себорейный кератоз и рекомендовали отпустить пациента без дополнительного обследования. Подобная ложноотрицательная диагностика в реальной врачебной практике могла бы привести к задержке лечения и смертельному исходу. В отличие от мультимодальных систем, свёрточная нейросеть обучалась непосредственно на дерматоскопических паттернах, что обеспечивает более надежную экстракцию микроскопических признаков злокачественности.

Автор эксперимента подчеркивает ряд оговорок, включая ограничение выборки 200 случаями и влияние заранее заданных порогов чувствительности модели. Тем не менее, исследование наглядно демонстрирует фундаментальную проблему современных генеративных ИИ: попытка объединить текстовый анализ и базовое зрение без специальной клинической донастройки снижает точность в узкопрофильных медицинских областях. Эксперты nv-news.ru отмечают, что перед внедрением LLM в клиническую диагностику разработчикам предстоит полностью пересмотреть подход к обучению визуальных энкодеров.