Маршрутизация между провайдерами ИИ: почему мы не ставим на одну модель

Модели ИИ не равны между собой. Одни лучше пишут код. Другие сильнее в анализе. Какие-то быстрее, какие-то дешевле — и у всех время от времени бывают сбои.

Поставить весь свой процесс разработки на одного поставщика ИИ — стратегический риск. Поэтому Forge с первого дня строился с поддержкой нескольких провайдеров.

Чем плох один провайдер

Когда процесс зависит от одного поставщика:

• Его сбой останавливает весь процесс — API лежит, разработка стоит
• Вы привязаны к его прайсу — без альтернативы нет и рычага
• Вы пропускаете улучшения моделей — прорывы случаются у разных команд, а не у одной
• Разным задачам нужны разные модели — агенту-ревьюеру нужно не то же, что агенту, разбирающему требования

Как Forge маршрутизирует запросы

Шлюз ИИ в Forge распределяет запросы между пятью провайдерами:

• Anthropic (Claude)
• OpenAI (GPT)
• Google (Gemini)
• Azure AI
• AWS Bedrock

Умный выбор провайдера

Порядок приоритетов задаёте вы. Forge сам следит за состоянием и временем ответа каждого провайдера и подстраивает веса. Если провайдер начал сыпать ошибками или замедлился, трафик уходит к следующему в очереди.

Автоматическое переключение при сбое

Когда запрос падает, Forge повторяет его на следующем провайдере в цепочке приоритетов. Агент не знает и не должен знать, кто именно обработал его запрос, — он просто получает ответ.

Закрепление воркера

Там, где важнее постоянство, а не устойчивость (например, вы хотите, чтобы весь прогон вела одна и та же модель), Forge умеет закреплять воркер за конкретным провайдером. Привязка сессии гарантирует, что все ходы внутри неё уйдут к одной модели.

Оптимизация расходов

У разных агентов разные потребности. Агенту-продакту, разбирающему требования, часто достаточно модели побыстрее и подешевле. Агенту-разработчику, пишущему продакшен-код, выгоднее самая сильная из доступных. Forge позволяет настроить предпочтения по провайдерам отдельно для каждой роли.

Что в результате

Процесс разработки, который не встаёт, когда у одного провайдера проблемы. Доступ к лучшей модели под каждую задачу. И возможность подстраиваться по мере того, как меняется ландшафт ИИ.

Это инфраструктурное мышление, применённое к ИИ, — и мы считаем, что именно так и должны строиться инструменты разработки на ИИ.