AI Optimization

Планы технологического развития

Описанная функциональность находится в разработке и планируется к поставке через Магазин приложений платформы Боцман.

Ценность

Качество моделей без ручного перебора: автоматический подбор гиперпараметров параллельными прогонами — экономия времени специалистов.

Описание

AI Optimization (ИИ Оптимизация) — направление, которое автоматизирует настройку и оптимизацию моделей машинного обучения на платформе Боцман. Вместо ручного перебора гиперпараметров специалист задаёт пространство поиска, а платформа сама запускает параллельные эксперименты и находит оптимальную конфигурацию.

Направление рассчитано на специалистов по данным (Data Scientist) и ML-инженеров, которым нужно ускорять эксперименты, автоматизировать подбор гиперпараметров и поиск архитектуры нейросетей, не управляя вручную вычислительной инфраструктурой.

Состав (компоненты)

Компонент	Что это	Зачем в связке
Katib	Автоматический подбор гиперпараметров и поиск архитектуры нейросетей (NAS) на Kubernetes	Запуск параллельных экспериментов по подбору гиперпараметров и NAS без ручного перебора
KubeRay	Запуск и управление кластерами Ray на Kubernetes	Оркестрация распределённых вычислений для параллельных прогонов экспериментов

Katib

Katib — open-source проект для автоматического подбора гиперпараметров (hyperparameter tuning) и поиска архитектуры нейросетей (NAS) на Kubernetes. Он позволяет задавать пространство поиска, стратегию оптимизации (например, байесовская оптимизация) и целевые метрики, а платформа сама запускает необходимое число параллельных прогонов. Включён в связку как основной механизм автоматизации экспериментов.

KubeRay

KubeRay — open-source оператор и набор инструментов для запуска и управления кластерами Ray на Kubernetes. Ray обеспечивает распределённые вычисления и параллельное выполнение задач, что ускоряет прогоны экспериментов и масштабирует их на несколько узлов. Включён в связку как вычислительная основа, на которой Katib выполняет параллельные прогоны.

Ключевые возможности

• Автоматический подбор гиперпараметров без ручного перебора
• Поиск архитектуры нейросетей (NAS) в рамках заданного пространства
• Параллельные прогоны экспериментов на кластере через KubeRay и Ray
• Задание пространства поиска, стратегий оптимизации и целевых метрик
• Масштабирование экспериментов на несколько узлов кластера
• Экономия времени специалистов за счёт автоматизации рутинных задач настройки

Архитектура

graph LR
    A[Специалист] --> B[AI Optimization]
    B --> C[Katib]
    C --> D[Эксперименты]
    D --> E[KubeRay / Ray]
    E --> F[GPU-ускорение и вычислительные ресурсы кластера]

Katib управляет жизненным циклом экспериментов по подбору гиперпараметров и поиску архитектуры, а запуск распределённых вычислений и параллельных прогонов обеспечивает KubeRay. Схема концептуальная и отражает общий принцип работы связки на кластере Боцман.

Варианты использования

• Подбор оптимальных гиперпараметров модели для задачи классификации
• Автоматический поиск архитектуры нейросети под конкретный датасет
• Сравнение нескольких конфигураций модели в параллельных прогонах
• Масштабирование экспериментов на несколько вычислительных узлов
• Ускорение исследовательской работы за счёт автоматизации перебора

Установка

Описанная функциональность находится в ограниченном доступе для клиентов, поставляется через Магазин приложений платформы Боцман.

Подключение репозиториев приложений → установка из раздела «Чарты» (см. страницу Приложения (Apps)).

Note

На текущий момент перечисленные чарты могут отсутствовать среди подключённых репозиториев приложений. Они будут добавлены по мере готовности функциональности.

Связанные страницы

• AI Training
• AI Serving

Набор компонентов и планы развития могут быть изменены в одностороннем порядке.