Control & Trust·production

IAM.Router

Политико-ориентированная маршрутизация LLM-трафика по модели, провайдеру и периметру.

Landing Приложение API endpoint ↗
Интерфейс IAM.Router
Актуальная публичная поверхность IAM.Router. Снимок проверен при публикации документации.

Ключевые возможности

  • OpenAI-совместимый inference gateway
  • Маршрутизация local, on-prem и external моделей
  • Квоты, fallback, аудит решения и provider health

Роль в экосистеме

IAM.Router отделяет приложение от конкретного LLM-провайдера. Клиент отправляет OpenAI-совместимый запрос, а Router применяет tenant policy, выбирает модель и периметр, контролирует квоту и фиксирует решение.

Основной сценарий

POST /v1/chat/completions
Authorization: Bearer <scoped-key>
Content-Type: application/json

{"model":"policy/default","messages":[{"role":"user","content":"..."}]}

Запрошенное имя модели может быть logical alias. Итоговый провайдер определяется policy, health, требованиями к данным и доступным бюджетом.

Маршрутизация

Router поддерживает несколько классов исполнения:

  • local/on-prem — данные не покидают согласованный контур;
  • dedicated — выделенный endpoint для tenant или проекта;
  • external — разрешённый облачный провайдер;
  • fallback — следующий совместимый маршрут после retriable failure.

Retry выполняется только для безопасных повторов и ограничивается deadline. Provider error не должен бесконечно размножать один запрос или обходить policy.

Интеграции

IAM.Secure может инспектировать prompt/response до и после маршрута. IAM.Identity задаёт tenant scope. IAM.Bot, Marketplace и другие приложения используют Router как транспорт, сохраняя собственный domain state независимо от результата LLM-вызова.

Квоты и наблюдаемость

Отслеживаются tenant/model/provider, tokens, latency, route decision и error class. Для hosted-агентов бюджет резервируется до provider call и фиксируется после billable результата. Health провайдера — сигнал выбора маршрута, а не замена явной политике.

Безопасность

  • inference keys имеют tenant scope;
  • административные маршруты отделены от /v1/*;
  • секреты провайдеров не возвращаются клиенту;
  • DLP/route outcome проходит в audit trail;
  • production policy не ослабляется ради fallback.

Перед production

Проверьте список моделей, реальный completion для каждого разрешённого провайдера, timeout/retry, budget limits, поведение при 429/5xx и сохранность correlation id через весь маршрут.