Словарь — Изображения, звук и видео
Мультимодальность
Мультимодальная модель умеет работать больше чем с одним типом входных данных — например, одновременно с текстом, изображениями и звуком.
5 токеновМультимодальность
Проще говоря#
Старые модели работали только с текстом. Сегодняшние принимают изображения, звук и видео и умеют их создавать.
Пример#
Можно сделать скриншот сообщения об ошибке и спросить «что здесь не так» — модель прочитает и текст, и контекст прямо с картинки.
Почему это важно#
Это меняет сам круг вопросов, которые имеет смысл задавать. Сфотографировать документ и спросить о нём часто быстрее, чем перенабирать текст.