Экспериментальный набор не полностью отражает реальные условия проверки документов
Команда MWS AI, входящая в МТС Web Services, протестировала мультимодальные нейросети на способность обнаруживать признаки подделки документов. Для этого исследователи расширили открытый бенчмарк MWS AI Vision Bench, добавив набор заданий Anti-fraud.
В датасет вошли 430 изображений: 200 оригинальных документов, 130 с ручными изменениями и 100 созданных генеративными моделями. Нейросети должны были классифицировать изображения, находить подозрительные элементы и определять подмену реквизитов, а также отличать оригиналы от изображений, сгенерированных ИИ.
Среди лидеров по выявлению подделок оказались модели семейств Claude, GPT и GLM. При этом высокие результаты в распознавании и анализе документов не гарантируют столь же эффективного обнаружения изменений. Например, GPT-6.1 Sol заняла первое место по общей оценке, но третье — в категории Anti-fraud. Лучший результат в последней показала Claude Opus 5.5.
В MWS AI отметили, что экспериментальный набор не полностью отражает реальные условия проверки документов. Поэтому результаты Anti-fraud публикуются отдельно от общего рейтинга. По мнению разработчиков бенчмарка, для защиты от мошенничества в реальных процессах предпочтительнее специализированные решения.
