Улучшенная модель генерации изображений по текстовому описанию будет доступна всем пользователям без ограничений в ближайшее время. Сбер усовершенствовал свою нейросеть, которая создаёт изображения по текстовому описанию на русском и английском языках. Обновлённая версия Kandinsky 3.1 дообучена на увеличенном датасете изображений, что позволило повысить качество генераций. Первым доступ к Kandinsky 3.1 получил ограниченный круг пользователей: художники, дизайнеры, блогеры.
Александр Ведяхин, первый заместитель председателя Правления Сбербанка:
«Сегодня ровно год, как вышла версия Kandinsky 2.1. За это время мы постоянно развивали нашу нейросеть, которая помогает людям создавать новые образы и даёт абсолютно каждому феноменальные возможности для творчества. По сравнению с предыдущей моделью Kandinsky 3.1 стал ещё быстрее, удобнее и реалистичнее. Kandinsky 3.1 — это гибкий, многофункциональный и абсолютно бесплатный инструмент, который превратит любого человека в художника и творца. Скоро все желающие смогут протестировать новые возможности нейросети. Как и предыдущие версии, модель будет бесплатной и доступна на разных поверхностях».
Одной из ключевых особенностей версии стала более высокая скорость генерации картинок: время одной генерации сократилось почти в 10 раз, а разрешение генераций можно повысить до 4K. Также появилась возможность улучшения текстового запроса с помощью языковой модели. Пользователям снова будут доступны функции создания различных вариаций изображений, смешивание картинок и текста, создание стикерпаков и возможность вносить локальные изменения на картинке, не меняя всей композиции сцены (ControlNet).
Узнать технические детали о модели, подходах к обучению и посмотреть примеры генераций можно в статье на «Хабре».
Также в ближайшее время появится новая модель Kandinsky Video 1.1 для генерации видео по текстовым описаниям. Нашей команде удалось существенно повысить качество генераций за счет увеличения объёма обучающего датасета пар «текст-видео» и архитектурных улучшений модели. Внесённые изменения также позволили повысить разрешение видео в два раза по сравнению с Kandinsky Video 1.0.
Модель разработана командой Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённых датасетах Sber AI и компании SberDevices.