История изменений
3.0.1
- Исправления ошибок:
- Исправлена ошибка, при которой регистрация агентов на операционной системе RedOS происходила некорректно
3.0.0
-
Платформа:
- Поддержка Kubernetes версии 1.28.4 переведена в статус Deprecated для управляющего кластера
- Добавлена поддержка Kubernetes версии 1.31.3
- Добавлена возможность формирования расширенной конфигурации KubeApi Server
- Добавлена поддержка до 4 версий Kuberenetes для подчиненных кластеров
- Добавлена возможность создания кластеров с 1 мастером для тестовых сред
- Внедрена технология единого входа(sso)
- Улучшен лог событий(events) кластера
- Расширена сводная информация по управляющему кластеру по окончанию установки
- Обновление компонентов Cluster API до v1.9.10
-
Yandex Cloud:
- Добавлена возможность создавать кластер в нескольких зонах Yandex Cloud
-
Модули:
- Удален модуль rancher-nodelabel-hack
- Удален модуль rancher-ui-billing-api
- Удален модуль billing-plugin-server
- Удален модуль billing-ui-plugin
- Удален модуль custom-monitoring-files
- Переработан модуль grafana-operator
- Добавлена возможность отправки метрик на удаленный сервис сбора хранения
- Расширен список метрик собираемых VictoriaMetrics (cluster-api, cluster-api-addon-provider-helm, provisioning-controller-manager)
- Улучшены стандартные значения модулей, позволяющие получить успешную установку без правок
- Добавлен модуль dex
-
Web панель:
- Добавлено отображение Taints для узлов кластера
- Добавлена возможность отключать отображение типов объектов, экземпляры которых отсутствуют в кластере
- Улучшена панель статуса при редактировании или создании кластера
- Добавлена возможность поиска по проектам
- Улучшен фильтр namespace при создании подчиненного кластера
- Общие улучшения отображения и управления компонентами кластера
-
Исправления ошибок:
- Исправлена ошибка, при которой экземпляр grafana создавался без volume
- Исправлена ошибка обновления лицензии, когда не проверялась ее валидность
- Исправлена ошибка mirror registry, когда указывается https:// для хранилища
- Исправлена ошибка, при которой пользователь, создавший namespace, не имел прав на него
- Исправлена ошибка создания кластера, когда пользователю не предлагалось восстановить настройки из черновика
- Исправлена ошибка, при которой группы ALDpro не отображались в списке для предоставления доступов
- Исправлена ошибка, при которой удаление черновика происходило некорректно
- Исправлена ошибка, при которой в параметр web.hostname можно было задать домен 1-го уровня или ip-адрес
- Исправлена ошибка, при которой в параметр controlPlane.endpoint.host можно было задать некорректные данные
- Исправлена ошибка отображения окна импорта в Web панели
- Исправлена ошибка, при которой fleet подчиненного кластера предлагал секреты из управляющего кластера
- Исправлена ошибка отображения Label на узлах, когда их становилось слишком много
- Исправлена ошибка, при которой сбрасывалась сортировка ресурсов в Web панели
- Исправлена ошибка, при которой сохраненные шаблоны кластеров не отображались
- Исправлена ошибка, при которой заполненное поле "Описание" namespace не сохранялось в форме создания подчиненного кластера
- Исправлена ошибка, при которой удаление кластера не удаляло его черновики
- Исправлена ошибка, при которой пользователю с правами на просмотр были доступны кнопки изменения приложений
2.7.2
-
Платформа:
- Добавлена возможность указание более одной роли для WorkerPool
- Добавлена возможность указания custom ролей
- Добавлена возможность не использовать taints для ролей
-
Модули:
- Модуль rancher-nodelabel-hack получил статус deprecated и выключен по умолчанию.
- Модули gpu-operator, longhorn, ingress-nginx получили toleration для системных taints по умолчанию.
-
Исправления ошибок:
- Исправлена ошибка, при которой кластера с GPU обновлялись некорректно
- Исправлена ошибка, при которой проверка поддерживаемой версии Kubernetes завершалась не корректно
2.7.1
- Исправления ошибок:
- Исправлена ошибка, при которой API Web панель работало некорректно
- Исправлена ошибка, при которой обновление платформы с маской cidr больше 16 было невозможным
- Исправлено описание ошибки, возникающей при указании маски cidr больше 20
2.7.0
-
Платформа:
- Переработан список обязательных модулей для минимальной установки
- Добавлена поддержка установки кластера с минимальным числом включенных модулей
- Добавлена система ролей для WorkerPool
- Переработана система модулей
- Добавлена механика категорий в системе модулей
- Переработан механизм установки управляющего кластера
- Добавлена возможность продолжения прерванной установки управляющего кластера
- Новая Web панель
- Добавлена возможность копирования образов с помощью bootsmanctl
- Добавлена возможность сброса baremetal-узла с помощью команды
-
Модули:
- Добавлен модуль Grafana Operator
- Добавлен модуль Victoria Metrics
- Добавлен модуль Victoria Logs
-
Web панель:
- Улучшен общий дизайн
- Улучшена цветовая схема при редактировании Yaml
- Добавлена валидация при редактировании в режиме Yaml
- Добавлена возможность создания namespace в режиме Yaml
- Добавлена возможность создания единого Secret для авторизации в хранилище образов
- Добавлена валидация маски полей podCidr и serviceCidr
-
VK Cloud:
- Исправлена ошибка, при которой можно было выбрать существующий роутер в новых сетях
2.6.1
- Исправления ошибок:
- Исправлена ошибка, при которой обновление некорректно завершалось в режиме airgap
2.6.0
-
Платформа:
- Добавлена поддержка Kubernetes версии 1.30.7
- Поддержка Kubernetes версии 1.27.6 переведена в статус Deprecated
- Поддержка supportedProviders для модулей
- Добавлена фильтрация лог-сообщений в бекенде для веба
- Улучшено форматирование лог-сообщенийв бекенде для веба
- Добавлена поддержка механизма feature flags
- Обновлённый webhook позволяет использовать сервис аккаунты Kubernetes как identity для бекенда веб панели
- Механизм SubjectAccessReview стал доступен для подчиненных кластеров
- Улучшен механизм мультитенанта в кластере, теперь пользователь имеющий доступ только к одному проекту может использовать команду kubectl get ns
- Добавлена возможность менять rolloutStrategy для workerpool
-
Обновление компонентов в составе Платформы:
- Обновили версию Rancher в нашем форке
- Обновлена версия Fleet
- Обновлена версия Cluster API
- Обновлена версия kube-vip
-
Модули:
- Добавлен модуль vSphere CSI Driver
- Добавлен модуль Yandex CSI Driver
- Добавлен модуль CephFs CSI Driver
- Добавлен модуль CephRBD CSI Driver
- Добавлен модуль Openstack Cinder CSI Driver
- Добавлен модуль Local Storage CSI
- Добавлен модуль kube-vip
- Добавлен модуль kube-vip cloud provider
-
Web панель:
- Добавлена возможность редактирования управляющего кластера
- Улучшено окно прогресса создания или изменения кластера
- Добавлена возможность переноса одинаковых полей из ControlPlane в WorkerPool
- Добавлена возможность выбрать добавляемые модули до установки подчиненного кластера
- Добавлена возможность экспорта конфигураций в архив
- Добавлена возможность заполнить все поля в Yaml-режиме
- Добавлены проверки на имена объектов namespace, secret и пресетов
- Добавлена построчная проверка заполнения конфигурации в Yaml-режиме
- Добавлена возможность изменения параметров MachineHealthCheck
-
Исправления ошибок:
- Исправлена ошибка, при которой удаление ключей в конфигурации модулей провоцировало некорректный статус кластера
- Исправлена ошибка RBAC, связанная с namespace внутри проектов
- Исправлена ошибка, при которой у администратора не было разрешения на имперсонацию действий от пользователя в подчиненных кластерах
- Исправлена ошибка, возникавшая при попытке создания интеграции с ActiveDirectory если задан Default Domain
- Исправлена ошибка с возможностью повторного добавления пользователя в список доступа к объекту
- Исправлена ошибка в механизме обновления сертификатов для baremetal агентов
- Исправлена ошибка постоянной переподписки вебсокета веб панели
- Исправлена проблема которая приводила к невозможности установки cilium на baremetal провайдере у некоторых пользователей
- Исправлена ошибка генерации cloud init с длинными ssh ключами
- Исправлена ошибка реконсиляции workerpool во время установки аддонов
- Исправлены ошибки реконсиляции аддонов с установленной аннотацией configuration.bootsman.tech/ignore-addon-config в некоторых случаях
Заметка
Провайдер Brest всё ещё находятся в активной разработке и не предназначены для использования в продуктовой среде.
- Brest:
- Добавленна поддержка ПК СВ Брест
- VK Cloud:
- Исправлена проблема с валидацией сертификата API VK Cloud
- Baremetal:
- Переработан механизм move для провайдера baremetal, теперь используется clusterctl API
2.5.6
- Исправления ошибок:
- Исправлена ошибка, при которой редактирование подчиненного baremaetal кластера было невозможно с помощью UI
2.5.5
- Исправления ошибок:
- Исправлена ошибка, при возниквении которой кластер в облаке VK не создавался
2.5.4
- Платформа:
- Поддержка аннотации configuration.bootsman.tech/ignore-addon-config
2.5.3
- Платформа:
- Добавлена возможность отключения kube-vip для узлов Control Plane
2.5.1
- Web панель:
- Реализован функционал обновления подчиненного кластера через UI
- Улучшена логика для восстановления незаконченных конфигураций создания и редактирования подчиненных кластеров
- Исправления ошибок:
- Исправлена работа fleet в кластерах, работающих в режим airgap
- Исправлена логика при обновлении, запрос об отличающихся ssh-ключах, приходит в начале обновления
- Исправлено отображение в UI модуля cert-manager в подчиненных кластерах
- Исправлено отображение в UI модулей rancher и kyverno-bootsman-policy в управляющем кластере
- Исправлено удаление и уменьшения числа реплик для workerpool в управляющем кластере
2.5.0
-
Платформа:
- Реализован функционал конфигурационного файла.
- Добавлен функционал Cluster autoscaler на основе KEDA
- Добавлен функционал управления GPU ресурсами в кластере Bootsman
- Добавлена проверка длины имени кластера (имя кластера + имя неймспейса должно быть < 63 символов)
- Добавлены первичные валидации при установке кластера
- Реализована команда миграции env в конфиг файл
- Добавлен scale subresource в workerpool.provisioning.bootsman.tech
- Переработан механизм информирования пользователя, информация об изменении состояния объектов HelmChartProxy и Deployment (для Museum) пишется в систему сообщений (events) Kubernetes
- Добавлена поддержка загрузки ключа (key) для yandex, при использовании bootsmanctl, из файла без экранирования
- Глобально переработан механизм работы с baremetal
- Добавлена возможность хранить лицензию Bootsman в secret
- Добавлен функционал профилей для работы с несколькими management кластерами с помощью bootsmanctl
- Добавлен механизм резервного копирования с помощью Velero
- Добавлена валидация на удаление WorkerPool: если в кластере остается < 3 машин, операция блокируется"
- Переработан механизм логирования ошибок, добавлены более детализированные ошибки при работе с лицензией
- Реализована функция автоматической авторизации в регистри при установке management кластера
- Обновлен механизм управления аддонами кластера: добавлена возможность включения, отключения и настройки аддонов для каждого кластера
- Добавлен аддон с Docker registry
- Реализована возможность регистрации агентов baremetal без multicast
-
Обновление компонентов в составе Платформы:
- Обновлена версия Longhorn
- Обновлена версия cluster-api-helm-controller
-
Web панель:
- Реализован новый фронт для управления кластером
- Новый YAML редактор добавлен в веб панель
- Новый интерфейс для управления машинами в кластере
- Реализован скейлинг машин в окне управления кластером
- Переработано меню storageclass
- Переработана маршрутизация в меню Cilium
- Добавлены статусы кластера в меню управления
- Переименована API группа provisioning.bootsman.tech -> Bootsman
- Добавлена информация о версии Bootsman для каждого кластера на главную страницу
- Убраны неиспользуемые компоненты из бокового меню
- Реализован механизм шаблонов для визарда создания новых кластеров
- Реализована возможность смены имени management кластера.
- Изменена иконка management (local) кластера
- Реализован функционал сохранения черновика в local-storage браузера
-
Исправления ошибок:
- Исправлено хранение чуствительной информации (логин и пароль) для vSphere провайдера, теперь используются секреты
- Исправлено хранение чуствительной информации (логин и пароль) для registry credentials, теперь используются секреты
- Исправлено поведение bootsmanctl: теперь не проверяется лицензия для bootsmanctl version
- Исправлено поведение при установке management кластера: теперь проставляется правильный DisplayName кластера
- Исправлена ошибка генерации списка провайдеров для визарда создания кластера
- Исправлена ошибка работы bootsmanctl: в результате генерации затирались указанные пользователями podCidr и serviceCidr
- Исправлена некорректная работа с хостнеймом, заданным капсом
- После миграции или обновления могли оставаться бесхозные ресурсы *Machine
- Исправлено поле Atomic для всех объектов HelmChartProxy
- После обновления количества реплик для объектов Cluster и WorkerPool они могли мгновенно становятся в состояние Ready
- Отсутствовал
matchLabelsвcapiConfig.infrastructure.bareMetalProviderConfig.selector - Если ControlPlane создан некорректно, Workload кластер Bootsman не удаляется
- Объекты *MachineTemplate не удаляются, если во время обновления версии Bootsman обновить ресурсы
- bootsmanctl management create печатал некорректный help message
- vmtemplate отсутствовал для конфигурации WorkerPool в vSphere провайдере
- При обновлении кластера лицензия не считывалась из переменной LICENSE
- Не обновлялся status.replicas и status.selector для WorkerPool
- Установка аддонов HelmChartProxy на медленных системах (vk, yandex) могла падать
- После переезда из bootsmanctl не работает firstLogin
- Исправлено падение baremetal провайдера во время установки кластера
- Проблема с установкой Rancher
- Исправлена ошибка, возникающая при запуске Yandex Cloud провайдера
- Исправлена ошибка, возникающая при запуске VK Cloud провайдера
- Исправлена ошибка обновления cluster API компонентов при обновлении версии Bootsman
- Исправлена гонка состояний, возникающая при повторном запуске обновления Bootsman
- Исправлена ошибка провайдера Yandex Cloud: удалялись routing table в существующей сети
- Исправлена ошибка обновления родительского чарта Longhorn
- Исправлена проблема с обновлением версии Kubernetes в WorkerPool
- Исправлена ошибка в VK Cloud провайдере: не устанавливался по умолчанию параметр VkLoadBalancerPool.Method
- Исправлена ошибка в baremetal провайдере: после миграции Kubernetes с 1.27.6 на 1.28.4 и 1.29.3 нет uninstallScript в агенте
Заметка
Провайдеры VK и Yandex всё ещё находятся в активной разработке и не предназначены для использования в продуктовой среде.
-
VK Cloud:
- Реализованна возможность создания мультизонного контролплейна и воркерпула в VK Cloud
- Генерируемые для VK Cloud параметры были убраны из конфигурации
- Переработан механизм move для провайдера VK Cloud, теперь используется clusterctl API
- Убран insecure флаг для взаимодействия с API VK Cloud
-
Yandex Cloud:
- Разработан свой CCM для яндекса
- В новом CCM разработан функционал управления LoadBalancer
- Переработан механизм move для провайдера Yandex Cloud, теперь используется clusterctl API
2.4.1
-
Платформа:
- Поддержка VK облака переведена в статус beta
-
Исправления ошибок:
- После миграции в статусе WorkerPool ошибочно появляются поля bootsmanctlVersion и museumVersion
- Некорректно проставляется API_SERVER_URL в baremetal
- Миграция conditions из предыдущих версий не происходит, если Cluster API в состоянии Paused
- Обновление аддонов может произойти, когда в Spec.BootsmanctlVersion установлена не последняя версия
- Cloud-init отменяет дефолтный пароль Bootsman
- Исправлена ошибка yandex auth secret 'default/poc-yc-creds' doesn't contain key 'key.json'
- Не применяются креды к хранилищу артефактов из файла лицензии в онлайн установке
2.4.0
-
Платформа:
- Добавлена поддержка Kubernetes версии 1.29.3
- Удалена поддержка Kubernetes версии 1.27.4
- Добавлена поддержка внешнего ETCD
- Обновлена поддержка операционной системы Astra для baremetal
- Создание и управление управляющего кластера с помощью bootsman provisioning operator
- Удалены устаревшие параметры из bootsmanctl
-
Обновление компонентов в составе Платформы:
- Cluster API 1.6.3
- kube-vip v0.7.2
- capv v1.9.2
- kubeadm провайдер v1.6.3
- Helm add-on provider v0.1.3
- Cluster wizard v0.0.41
-
Исправления ошибок:
- Некорректные статусы после масштабирования обьектов
- Кластер удаляется раньше порождённых объектов
- Исправлены проблемы с service monitor в модуле мониторинга
- Исправлены проблемы с пакетами host-agent
- kube-vip не умеет читать hostAliases в 1.29
- kube-vip требует конфиг super-admin в 1.29
- Для management и workload кластеров создаются объекты для CRS с одинаковыми именами
- Не работает kube-vip в kube v1.29.3
- Не запускается host controller webhook после миграции на Cluster API 1.6.3
- Некорректно работает host-agent после миграции на Cluster API 1.6.3
- Не обновляется поле cluster.Status.CurrentVersion.BootsmanctlVersion при установке кластера
- KUBECONFIG неверно передаётся в bootsman provisioning operator
- Не регистрируется схема helmv1alpha1 при запуске миграции
- Не проставляется RancherClusterId для management кластера
- При удалении provisioning-operator HelmChartProxy удаляются его CRD
- Provisioning Operator webhook принудительно всегда ставит последнюю версию Боцмана
- Нет информации о версии bootsmanctl v2.3.1 в списке релизов
- Конвертация полей подчинённого кластера при миграции с версии v2.3.x завершается ошибкой
- Шаблонизатор не выдаёт место возникновения проблемы при загрузке шаблона
- Неверный жизненный цикл при обновлении кластера и аддонов
- Workload кластер начинает обновляться (машины) при миграции с версии 2.3.x
- Обновление версии Kubernetes в объекте WorkerPool происходит безусловно во время реконсиляции объекта
- Validating webhook не даёт запускать cluster.MigrateToRegistryUrl
- Вместе с workload кластером может удаляться WorkerPool от management кластера
- Не проверяется поддерживаемая версия Kubernetes при миграции из bootsmanctl
- После обновления management с 2.3.0 не было изменено поле registry URL
- У объектов HelmChartProxy потеряно поле Atomic
- Во время операции move не отключается проверка WorkerPool
- При операции move в byoh аннотация "byoh.infrastructure.cluster.x-k8s.io/byoh-status" не всегда удаляется после восстановления статуса
- Для management кластера могли дублироваться объекты MachineSet с разными значениями machine-template-hash
- После обновления количества реплик для объектов Cluster и WorkerPool они мгновенно становятся в состояние Ready
- PDB Longhorn блокировал удаление кластера
-
Web панель:
- Обновлён функционал создания кластера
- Добавлен функционал редактирования workload кластеров
- Добавлено отображение статусов обьектов Cluster и WorkerPool
-
vSphere:
- Исправлено падение capv
- Добавлен новый обязательный параметр .spec.infrastructure.vsphereConfig.cluster
Заметка
Провайдеры VK и Yandex всё ещё находятся в активной разработке и не предназначены для использования в продуктовой среде.
-
VK Cloud:
- Добавлена поддержка провайдера VK Cloud
- Добавлена поддержка Load Balancer
- Поле ImageId теперь изменяемое
-
Yandex Cloud:
- Обновлена поддержка провайдера Yandex Cloud
- Исправлена ошибка удаления сетей
- Подчинённый кластер в Yandex больше не зависает на этапе удаления
2.3.1
-
Yandex Cloud:
- Добавлена поддержка LoadBalancer для пользовательских нагрузок
- Добавлены режимы работы кластера Private, PrivateMachines, Public
- Добавлена поддержка отечественных ОС (Astra Linux, RedOS)
-
Добавлен механизм MachineHealthCheck
2.3.0
- Yandex Cloud:
- Обновлена поддержка провайдера Yandex Cloud (experimental);
-
vSphere:
- Обновлена поддержка провайдера vSphere (experimental);
-
Платформа:
-
Добавлена возможность обновления подчинённых кластеров;
-
Добавлена поддержка Kubernetes версии 1.28;
-
Обновлена возможность установки разных версий Kubernetes 1.27.4, 1.27.6, 1.28.4 в рамках одного релиза Платформы;
-
Добавлена возможность настройки eviction лимитов в кластере и на пулах машин;
-
Произведен масштабный рефакторинг core-компонентов Платформы;
-
-
Обновление компонентов в составе Платформы:
- Cilium v1.13.4 -> v1.14.4;
- Ingress Nginx - v1.8.1 -> v1.9.4;
- Kyverno chart v1.10.3 -> v1.11.1;
- Longhorn chart v1.5.1 -> v1.5.3;
-
Исправление ошибок:
- Исправлена ошибка, из-за которой в менеджмент-кластере оставались объекты аддонов после удаления подчинённого кластера;
- Исправлена ошибка синхронизации ролевых политик с AD;
- Исправлена ошибка с использованием спецсимволов в учетных данных registry;
- Исправлена ошибка компонента мониторинга путём понижения используемой версии, последующие исправления - с патчами.
2.2.0
-
Baremetal:
- Реализован новый планировщик byohost, теперь можно выбирать сервера по ресурсам
- Теперь в ByoHost есть информация о доступных ресурсах сервера (.status.capacity)
- Исправлен баг, в редких случаях byohost не освобождался при удалении machine
- Исправлен баг с удалением сетевых интерфейсов при очистке сервера от компонентов k8s
- Исправлен баг в механизме автоматической регистрации серверов, который приводил к невозможности регистрации
-
Платформа:
- Добавлена установка cert-manager в подчинённые кластера
- Добавлен webhook, запрещающий деструктивные действия с KCP и MD компонентами
- Исправлен баг, из-за которого в Longhorn volumes создавались с неправильным количеством реплик
- Исправлен баг с созданием FQDN правил в редакторе сетевых политик
- Обновление версии k8s инфраструктурного кластера до 1.27.6
-
Web панель:
- Исправлен баг с неработающим функционалом брендинга
- Исправлен баг с некорректным отображением лоадера в светлой теме оформления при создания кластера
- В меню создания нового кластера добавлен список namespace
- Исправлен баг с дублированием favicon
- Исправлен баг с удалением кластера из веб-интерфейса rancher
-
Редактор сетевых политик:
- Исправлен баг с невозможностью переименования сетевых политик из редактора
- Добавлен выпадающий список с namespace в редакторе сетевых политик
- Исправлен баг с некорректным отображением блокирующих сетевых политик в редакторе
- Исправлен баг с закрытием всплывающих окон в редакторе сетевых политик
-
Мониторинг:
- Исправлен баг с некорректными метриками nginx
- Добавлен новый дашборд в Grafana с метриками Longhorn
- Bootsmanctl
- Исправлен баг с некорректным вызовом команды bootsmanctl delete
2.1.1
- Новая ОС (RedOS 7.3.3)
- Новая глобальная роль - Bootsman Standard User
- Роль с минимальными правами
- Новая кластерная роль - Pod Metrics
- Роль даёт доступ к метрикам кластера
- Новая проектная роль - Bootsman project viewer
- Доступны ресурсы проекта в режиме read only
- Недоступны секреты проекта
- Недоступны настройки проекта
- Новая проектная роль - Bootsman project member
- Доступны все ресурсы проекта в режиме CRUD
- Недоступны настройки проекта
- Новая проектная роль - Bootsman project admin
- Доступны все ресурсы проекта
- Доступна настройка проекта в части добавления новых пользователей и управления их правами, остальные настройки проекта недоступны
2.1.0
- Исправления работы с self-signed сертификатами
- Исправления параметров системы хранения данных
- Исправления работы скрипта мироринга образов
- Обновление версий компонентов боцман
- Обновление инструмента создания новых кластеров: теперь полностью работоспособен в режиме airgap
- В инструменте создания кластера добавились новые поля для указания лейблов мастеров и воркеров
- Установка системы хранения в подчинённый кластер
- Установка мониторинга в подчинённый кластер
- Установка ингреса в подчинённый кластер
- Установка kyverno в подчинённый кластер
- Установка сервера метрик в подчинённый кластер
- Установка системы логирования в подчинённый кластер
- Установка сервера метрик в инфраструктурный кластер
- Убрали лишние логи при разворачивании ноды k8s
- Убрали лишнюю зависимость от kubeconfig для некоторых компонентов системы