Bootsman AI

Планы технологического развития

Описанная функциональность находится в разработке и планируется к поставке через Магазин приложений платформы Боцман.

Ценность

Приватный ИИ на своих кластерах: запуск моделей и OpenAI-совместимый API за пару кликов — данные не покидают периметр, команды получают готовый эндпоинт для интеграции.

Описание

Bootsman AI (Боцман ИИ) — Kubernetes-оператор платформы Боцман, который запускает AI-модели (LLM, embeddings, rerank, audio) на on-prem кластерах и выставляет наружу OpenAI-совместимый API. Модель описывается декларативным манифестом AIModel — оператор берёт на себя материализацию весов, serving-под, GPU-safe rollout и подключение к gateway.

Устанавливается в 2 клика через Apps & Marketplace платформы Боцман.

Для кого

Роль	Описание
Платформенная команда	Управляет жизненным циклом моделей через Kubernetes-манифесты; задаёт cluster-scoped «золотые дефолты» через AIModelProfile и AIRuntimeClass
Прикладной разработчик	Обращается к привычному OpenAI-эндпоинту (например, /v1/chat/completions); не думает об инфраструктуре
DevOps / SRE	Устанавливает оператор через Apps & Marketplace или Helm, контролирует rollout и мониторинг

Состав (компоненты)

Компонент	Что это	Зачем в связке
vLLM	Open-source движок инференса LLM	Быстрый serving больших моделей на GPU
Ollama	Open-source среда запуска моделей	Простой запуск и управление моделями
SGLang	Open-source движок инференса LLM	Альтернативный движок serving
FasterWhisper	Open-source движок распознавания речи	Транскрибация аудио на своих GPU
PostgreSQL	Открытая реляционная СУБД	Хранилище данных биллинга (опция)
KEDA	Open-source компонент автоскейлинга	Автоскейлинг serving-подов 1→N
VictoriaMetrics	Open-source система мониторинга	Метрики serving, gateway и оператора; данные для автоскейлинга
cert-manager	Open-source менеджер TLS-сертификатов	TLS для вебхука оператора

Ядро связки — сам продукт (оператор AI Model Operator и gateway) — является платформенным компонентом Боцман и поставляется через Apps & Marketplace. Остальные компоненты таблицы — open-source, они используются оператором как движки и подсистемы.

CRD-модель оператора построена на 6 CustomResourceDefinition в API-группе ai.bootsman.tech/v1alpha2: 4 core CRD — AIModel, AIModelProfile, AIRuntimeClass, CacheProfile — и 2 billing CRD — APIClient, ModelPricing, которые включаются вместе с биллингом (opt-in).

• vLLM, Ollama, SGLang, FasterWhisper — четыре встроенных движка инференса. Каждый движок реализован отдельным адаптером, поэтому добавление нового движка не затрагивает остальные. Дополнительно поддерживается псевдо-движок external для OpenAI-совместимого upstream-провайдера.
• PostgreSQL — используется только при включённом биллинге (billing.enabled=true): хранит API-клиентов, бюджеты, каталог цен и append-only usage ledger. Без биллинга PostgreSQL не требуется.
• KEDA — обеспечивает автоскейлинг serving-подов 1→N по метрикам из Prometheus-совместимого источника (опция).
• VictoriaMetrics — собирает метрики gateway и оператора, используется как источник данных для автоскейлинга 0→1 (холодный старт модели).
• cert-manager — выпускает сертификаты для TLS validating-вебхука оператора.

Ключевые возможности

• Декларативное описание модели — один манифест AIModel описывает модель, движок, GPU-ресурсы, кэш, chat-темплейт и стратегию балансировки; оператор материализует веса, настраивает serving-под и подключает его к gateway.
• OpenAI-совместимый API — gateway принимает запросы по протоколу OpenAI (/v1/chat/completions со стримингом SSE, /v1/completions, /v1/embeddings, /v1/audio/transcriptions, /v1/audio/translations, /v1/rerank, /v1/tokenize, /v1/detokenize); любой клиент OpenAI SDK подключается сменой base_url. Пути вне канонического каталога роутов не обслуживаются (deny-by-default).
• GPU-safe rollout — обновление модели без потери трафика: сначала стартует новая реплика, после её готовности удаляется старая (maxUnavailable=0, surge-before-delete); GPU не простаивают.
• Многоуровневый автоскейлинг — 0→1: холодный старт модели через cold-start hold-and-forward (gateway удерживает запрос с бюджетом 90 секунд и сигналит спрос); 1→N: KEDA-масштабирование по Prometheus-метрикам (опция, keda.enabled=true); scale-to-zero опционален (scaling.minReplicas: 0).
• Несколько движков и external-провайдер — vLLM, Ollama, SGLang, FasterWhisper; каждый движок реализован отдельным адаптером. Псевдо-движок external проксирует запросы на OpenAI-совместимый upstream-провайдер.
• API-key auth и биллинг (opt-in) — включается billing.enabled=true; APIClient с мульти-тенантными ключами и бюджетами (токены, деньги, аудио-секунды), ModelPricing как каталог цен, append-only usage ledger, дашборд затрат Grafana (опционально). Ключи хэшируются argon2id, raw secrets не хранятся.
• Security & Compliance — deny-by-default gateway, validating admission webhook (TLS через cert-manager), audit-логи (опция), защита secret-значений (не попадают в CRD, статус и логи), PSA restricted-совместимые securityContext, distroless-образы.
• Установка на платформе — через Apps & Marketplace (в 2 клика) или Helm, либо Kustomize; дефолтные AIRuntimeClass для всех движков поставляются чартом.

Архитектура

graph BT
    GPU[GPU] --- K8s[Kubernetes + Bootsman]
    Storage[Storage] --- K8s
    Monitoring[Monitoring] --- K8s
    K8s --- LLM[LLM-модели]
    K8s --- Embed[Embeddings-модели]
    K8s --- Speech[Speech AI-модели]
    LLM --- GW[Bootsman AI Gateway]
    Embed --- GW
    Speech --- GW
    GW --- API[OpenAI-compatible API]
    API --- Chat[Чат-Боты]
    API --- RAG[RAG]
    API --- Svc[AI-Сервисы]

Варианты использования

• Приватный LLM-инференс — развёртывание open-source моделей на on-prem GPU и предоставление командам OpenAI-совместимого API без отправки данных во внешние сервисы.
• Embeddings для RAG — генерация векторных представлений на своих GPU через /v1/embeddings.
• Распознавание речи — транскрибация аудио через /v1/audio/transcriptions на базе FasterWhisper.
• Гибрид on-prem + external — локальные модели для базовых запросов + OpenAI-совместимый внешний провайдер для сложных сценариев.
• Экономия GPU — scale-to-zero: модели без запросов освобождают GPU, а при обращении «просыпаются» через холодный старт.
• Управление жизненным циклом моделей — кластерные «золотые дефолты» для платформенных команд и декларативные манифесты для повторяемых развёртываний.

Установка

Описанная функциональность находится в ограниченном доступе для клиентов, поставляется через Магазин приложений платформы Боцман.

Подключение репозиториев приложений → установка из раздела «Чарты» (см. страницу Приложения (Apps)).

INFO

На текущий момент перечисленные чарты могут отсутствовать среди подключённых репозиториев приложений. Они будут добавлены по мере готовности функциональности.

Связанные страницы

• AI Serving

• AI Workspace

• AI Optimization

• AI Training

• MLOps

  Набор компонентов и планы развития могут быть изменены в одностороннем порядке.