Что такое усталость от ИИ-моделей. Вы уже устали?

Для лабораторий это красивый график релизов. Для тех, кто на этих моделях строит продукты, это неделя, после которой нужно заново разобраться, что у них вообще теперь работает.

Как это назвали

CNBC дала этому явлению имя: «model fatigue», усталость от моделей. Название немного сбивает с толку, потому что кажется, будто устали пользователи, которым надоели бесконечные чат-боты. На самом деле устал бизнес. Компании физически не успевают понять, чем вчерашняя модель хуже сегодняшней, прежде чем выходит завтрашняя.

Десять на рынке, пять в тестах

CEO Clockwork Systems говорит об этом прямо: из десятка моделей, которые сейчас есть на рынке, реально протестировать получается примерно пять. На остальные просто не хватает инженерных часов. То есть половина рынка существует для клиентов только на уровне пресс-релиза.

А глава Runpod формулирует ещё жёстче: лабораториям приходится «создавать шум просто чтобы выделиться». Когда новинки выходят так часто, обновление само по себе перестаёт быть событием, и единственный способ его заметить состоит в том, чтобы выпустить его громче остальных.

Арифметика одного релиза

Есть цифра, которая объясняет всё остальное. Каждый новый релиз требует от стартапа две-три недели работы команды: нужно пересобрать тесты, перенастроить промпты и заново проверить стоимость.

Теперь добавим частоту. Каждая лаборатория обновляется три-четыре раза в год, а компании обычно работают сразу с двумя платформами. Получается шесть-восемь поводов для пересборки в год. Если умножить это на две-три недели, выходит от 12 до 24 недель, то есть от четверти до почти половины года. Нагрузка становится почти постоянной, а команда, которая только и делает, что подтверждает совместимость с новой версией, не делает ничего своего.

Как выходят самые быстрые

Лучшие команды нашли решение ещё год назад, и оно оказалось неожиданно простым: зафиксировать версию модели и обновляться по собственному графику. Раз в квартал, а не каждый раз, когда об этом просит маркетинг очередной лаборатории.

Так четыре плановых пересборки в год заменяют шесть-восемь внезапных. Команда сама выбирает момент, когда у неё есть время, и не отвечает на чужой календарь. Тем, кто пока работает иначе, стоит начать с трёх вещей: закрепить версию в продакшене, завести собственный набор тестов на своих задачах и назначить дату следующего сравнения моделей.

Ирония

Скорость релизов ещё недавно считалась признаком силы лаборатории: чем чаще обновления, тем мощнее команда. Теперь она стала проблемой для тех самых клиентов, ради которых эта сила якобы существует.
Модель, которую вы не успели внедрить, не делает вас лучше. Побеждает не тот, кто первым попробовал каждую новинку, а тот, кто научился спокойно выбирать.
А у нас есть бесплатный курс из 5 простых уроков, где вы сможете найти для себя нужные бизнесу скиллы. Проходите и радуйтесь новой эффективности)