Тема
AI Optimization
Планы технологического развития
Описанная функциональность находится в разработке и планируется к поставке через Магазин приложений платформы Боцман.
Ценность
Качество моделей без ручного перебора: автоматический подбор гиперпараметров параллельными прогонами — экономия времени специалистов.
Описание
AI Optimization (ИИ Оптимизация) — направление, которое автоматизирует настройку и оптимизацию моделей машинного обучения на платформе Боцман. Вместо ручного перебора гиперпараметров специалист задаёт пространство поиска, а платформа сама запускает параллельные эксперименты и находит оптимальную конфигурацию.
Направление рассчитано на специалистов по данным (Data Scientist) и ML-инженеров, которым нужно ускорять эксперименты, автоматизировать подбор гиперпараметров и поиск архитектуры нейросетей, не управляя вручную вычислительной инфраструктурой.
Состав (компоненты)
| Компонент | Что это | Зачем в связке |
|---|---|---|
| Katib | Автоматический подбор гиперпараметров и поиск архитектуры нейросетей (NAS) на Kubernetes | Запуск параллельных экспериментов по подбору гиперпараметров и NAS без ручного перебора |
| KubeRay | Запуск и управление кластерами Ray на Kubernetes | Оркестрация распределённых вычислений для параллельных прогонов экспериментов |
Katib
Katib — open-source проект для автоматического подбора гиперпараметров (hyperparameter tuning) и поиска архитектуры нейросетей (NAS) на Kubernetes. Он позволяет задавать пространство поиска, стратегию оптимизации (например, байесовская оптимизация) и целевые метрики, а платформа сама запускает необходимое число параллельных прогонов. Включён в связку как основной механизм автоматизации экспериментов.
KubeRay
KubeRay — open-source оператор и набор инструментов для запуска и управления кластерами Ray на Kubernetes. Ray обеспечивает распределённые вычисления и параллельное выполнение задач, что ускоряет прогоны экспериментов и масштабирует их на несколько узлов. Включён в связку как вычислительная основа, на которой Katib выполняет параллельные прогоны.
Ключевые возможности
- Автоматический подбор гиперпараметров без ручного перебора
- Поиск архитектуры нейросетей (NAS) в рамках заданного пространства
- Параллельные прогоны экспериментов на кластере через KubeRay и Ray
- Задание пространства поиска, стратегий оптимизации и целевых метрик
- Масштабирование экспериментов на несколько узлов кластера
- Экономия времени специалистов за счёт автоматизации рутинных задач настройки
Архитектура
mermaid
graph LR
A[Специалист] --> B[AI Optimization]
B --> C[Katib]
C --> D[Эксперименты]
D --> E[KubeRay / Ray]
E --> F[GPU-ускорение и вычислительные ресурсы кластера]Katib управляет жизненным циклом экспериментов по подбору гиперпараметров и поиску архитектуры, а запуск распределённых вычислений и параллельных прогонов обеспечивает KubeRay. Схема концептуальная и отражает общий принцип работы связки на кластере Боцман.
Варианты использования
- Подбор оптимальных гиперпараметров модели для задачи классификации
- Автоматический поиск архитектуры нейросети под конкретный датасет
- Сравнение нескольких конфигураций модели в параллельных прогонах
- Масштабирование экспериментов на несколько вычислительных узлов
- Ускорение исследовательской работы за счёт автоматизации перебора
Установка
Описанная функциональность находится в ограниченном доступе для клиентов, поставляется через Магазин приложений платформы Боцман.
Подключение репозиториев приложений → установка из раздела «Чарты» (см. страницу Приложения (Apps)).
INFO
На текущий момент перечисленные чарты могут отсутствовать среди подключённых репозиториев приложений. Они будут добавлены по мере готовности функциональности.
Связанные страницы
Набор компонентов и планы развития могут быть изменены в одностороннем порядке.