Заметки о релизе

2.5.6

Инструкция по обновлению

• Исправления ошибок:
  • Исправлена ошибка, при которой редактирование подчиненного baremaetal кластера было невозможно с помощью UI

2.5.5

Инструкция по обновлению

• Исправления ошибок:
  • Исправлена ошибка, при возниквении которой кластер в облаке VK не создавался

2.5.4

Инструкция по обновлению

• Платформа:
  • Поддержка аннотации configuration.bootsman.tech/ignore-addon-config

2.5.3

Инструкция по обновлению

• Платформа:
  • Добавлена возможность отключения kube-vip для узлов Control Plane

2.5.1

Инструкция по обновлению

• Web панель:
  • Реализован функционал обновления подчиненного кластера через UI
  • Улучшена логика для восстановления незаконченных конфигураций создания и редактирования подчиненных кластеров
• Исправления ошибок:
  • Исправлена работа fleet в кластерах, работающих в режим airgap
  • Исправлена логика при обновлении, запрос об отличающихся ssh-ключах, приходит в начале обновления
  • Исправлено отображение в UI модуля cert-manager в подчиненных кластерах
  • Исправлено отображение в UI модулей rancher и kyverno-bootsman-policy в управляющем кластере
  • Исправлено удаление и уменьшения числа реплик для workerpool в управляющем кластере

2.5.0

Инструкция по обновлению

• Платформа:

  • Реализован функционал конфигурационного файла.
  • Добавлен функционал Cluster autoscaler на основе KEDA
  • Добавлен функционал управления GPU ресурсами в кластере Bootsman
  • Добавлена проверка длины имени кластера (имя кластера + имя неймспейса должно быть < 63 символов)
  • Добавлены первичные валидации при установке кластера
  • Реализована команда миграции env в конфиг файл
  • Добавлен scale subresource в workerpool.provisioning.bootsman.tech
  • Переработан механизм информирования пользователя, информация об изменении состояния объектов HelmChartProxy и Deployment (для Museum) пишется в систему сообщений (events) Kubernetes
  • Добавлена поддержка загрузки ключа (key) для yandex, при использовании bootsmanctl, из файла без экранирования
  • Глобально переработан механизм работы с baremetal
  • Добавлена возможность хранить лицензию Bootsman в secret
  • Добавлен функционал профилей для работы с несколькими management кластерами с помощью bootsmanctl
  • Добавлен механизм резервного копирования с помощью Velero
  • Добавлена валидация на удаление WorkerPool: если в кластере остается < 3 машин, операция блокируется"
  • Переработан механизм логирования ошибок, добавлены более детализированные ошибки при работе с лицензией
  • Реализована функция автоматической авторизации в регистри при установке management кластера
  • Обновлен механизм управления аддонами кластера: добавлена возможность включения, отключения и настройки аддонов для каждого кластера
  • Добавлен аддон с Docker registry
  • Реализована возможность регистрации агентов baremetal без multicast

• Обновление компонентов в составе Платформы:

  • Обновлена версия Longhorn
  • Обновлена версия cluster-api-helm-controller

• Web панель:

  • Реализован новый фронт для управления кластером
  • Новый YAML редактор добавлен в веб панель
  • Новый интерфейс для управления машинами в кластере
  • Реализован скейлинг машин в окне управления кластером
  • Переработано меню storageclass
  • Переработана маршрутизация в меню Cilium
  • Добавлены статусы кластера в меню управления
  • Переименована API группа provisioning.bootsman.tech -> Bootsman
  • Добавлена информация о версии Bootsman для каждого кластера на главную страницу
  • Убраны неиспользуемые компоненты из бокового меню
  • Реализован механизм шаблонов для визарда создания новых кластеров
  • Реализована возможность смены имени management кластера.
  • Изменена иконка management (local) кластера
  • Реализован функционал сохранения черновика в local-storage браузера

• Исправления ошибок:

  • Исправлено хранение чуствительной информации (логин и пароль) для vSphere провайдера, теперь используются секреты
  • Исправлено хранение чуствительной информации (логин и пароль) для registry credentials, теперь используются секреты
  • Исправлено поведение bootsmanctl: теперь не проверяется лицензия для bootsmanctl version
  • Исправлено поведение при установке management кластера: теперь проставляется правильный DisplayName кластера
  • Исправлена ошибка генерации списка провайдеров для визарда создания кластера
  • Исправлена ошибка работы bootsmanctl: в результате генерации затирались указанные пользователями podCidr и serviceCidr
  • Исправлена некорректная работа с хостнеймом, заданным капсом
  • После миграции или обновления могли оставаться бесхозные ресурсы *Machine
  • Исправлено поле Atomic для всех объектов HelmChartProxy
  • После обновления количества реплик для объектов Cluster и WorkerPool они могли мгновенно становятся в состояние Ready
  • Отсутствовал matchLabels в capiConfig.infrastructure.bareMetalProviderConfig.selector
  • Если ControlPlane создан некорректно, Workload кластер Bootsman не удаляется
  • Объекты *MachineTemplate не удаляются, если во время обновления версии Bootsman обновить ресурсы
  • bootsmanctl management create печатал некорректный help message
  • vmtemplate отсутствовал для конфигурации WorkerPool в vSphere провайдере
  • При обновлении кластера лицензия не считывалась из переменной LICENSE
  • Не обновлялся status.replicas и status.selector для WorkerPool
  • Установка аддонов HelmChartProxy на медленных системах (vk, yandex) могла падать
  • После переезда из bootsman ctl не работает firstLogin
  • Исправлено падение baremetal провайдера во время установки кластера
  • Проблема с установкой Rancher
  • Исправлена ошибка, возникающая при запуске Yandex Cloud провайдера
  • Исправлена ошибка, возникающая при запуске VK Cloud провайдера
  • Исправлена ошибка обновления cluster API компонентов при обновлении версии Bootsman
  • Исправлена гонка состояний, возникающая при повторном запуске обновления Bootsman
  • Исправлена ошибка провайдера Yandex Cloud: удалялись routing table в существующей сети
  • Исправлена ошибка обновления родительского чарта Longhorn
  • Исправлена проблема с обновлением версии Kubernetes в WorkerPool
  • Исправлена ошибка в VK Cloud провайдере: не устанавливался по умолчанию параметр VkLoadBalancerPool.Method
  • Исправлена ошибка в baremetal провайдере: после миграции Kubernetes с 1.27.6 на 1.28.4 и 1.29.3 нет uninstallScript в агенте

Заметка

Провайдеры VK и Yandex всё ещё находятся в активной разработке и не предназначены для использования в продуктовой среде.

• VK Cloud:

  • Реализованна возможность создания мультизонного контролплейна и воркерпула в VK Cloud
  • Генерируемые для VK Cloud параметры были убраны из конфигурации
  • Переработан механизм move для провайдера VK Cloud, теперь используется clusterctl API
  • Убран insecure флаг для взаимодействия с API VK Cloud

• Yandex Cloud:

  • Разработан свой CCM для яндекса
  • В новом CCM разработан функционал управления LoadBalancer
  • Переработан механизм move для провайдера Yandex Cloud, теперь используется clusterctl API

2.4.1

Инструкция по обновлению

• Платформа:

  • Поддержка VK облака переведена в статус beta

• Исправления ошибок:

  • После миграции в статусе WorkerPool ошибочно появляются поля bootsmanctlVersion и museumVersion
  • Некорректно проставляется API_SERVER_URL в baremetal
  • Миграция conditions из предыдущих версий не происходит, если Cluster API в состоянии Paused
  • Обновление аддонов может произойти, когда в Spec.BootsmanctlVersion установлена не последняя версия
  • Cloud-init отменяет дефолтный пароль Bootsman
  • Исправлена ошибка yandex auth secret 'default/poc-yc-creds' doesn't contain key 'key.json'
  • Не применяются креды к хранилищу артефактов из файла лицензии в онлайн установке

2.4.0

Инструкция по обновлению

• Платформа:

  • Добавлена поддержка Kubernetes версии 1.29.3
  • Удалена поддержка Kubernetes версии 1.27.4
  • Добавлена поддержка внешнего ETCD
  • Обновлена поддержка операционной системы Astra для baremetal
  • Создание и управление управляющего кластера с помощью bootsman provisioning operator
  • Удалены устаревшие параметры из bootsmanctl

• Обновление компонентов в составе Платформы:

  • Cluster API 1.6.3
  • kube-vip v0.7.2
  • capv v1.9.2
  • kubeadm провайдер v1.6.3
  • Helm add-on provider v0.1.3
  • Cluster wizard v0.0.41

• Исправления ошибок:

  • Некорректные статусы после масштабирования обьектов
  • Кластер удаляется раньше порождённых объектов
  • Исправлены проблемы с service monitor в модуле мониторинга
  • Исправлены проблемы с пакетами host-agent
  • kube-vip не умеет читать hostAliases в 1.29
  • kube-vip требует конфиг super-admin в 1.29
  • Для management и workload кластеров создаются объекты для CRS с одинаковыми именами
  • Не работает kube-vip в kube v1.29.3
  • Не запускается host controller webhook после миграции на Cluster API 1.6.3
  • Некорректно работает host-agent после миграции на Cluster API 1.6.3
  • Не обновляется поле cluster.Status.CurrentVersion.BootsmanctlVersion при установке кластера
  • KUBECONFIG неверно передаётся в bootsman provisioning operator
  • Не регистрируется схема helmv1alpha1 при запуске миграции
  • Не проставляется RancherClusterId для management кластера
  • При удалении provisioning-operator HelmChartProxy удаляются его CRD
  • Provisioning Operator webhook принудительно всегда ставит последнюю версию Боцмана
  • Нет информации о версии bootsmanctl v2.3.1 в списке релизов
  • Конвертация полей подчинённого кластера при миграции с версии v2.3.x завершается ошибкой
  • Шаблонизатор не выдаёт место возникновения проблемы при загрузке шаблона
  • Неверный жизненный цикл при обновлении кластера и аддонов
  • Workload кластер начинает обновляться (машины) при миграции с версии 2.3.x
  • Обновление версии Kubernetes в объекте WorkerPool происходит безусловно во время реконсиляции объекта
  • Validating webhook не даёт запускать cluster.MigrateToRegistryUrl
  • Вместе с workload кластером может удаляться WorkerPool от management кластера
  • Не проверяется поддерживаемая версия Kubernetes при миграции из bootsmanctl
  • После обновления management с 2.3.0 не было изменено поле registry URL
  • У объектов HelmChartProxy потеряно поле Atomic
  • Во время операции move не отключается проверка WorkerPool
  • При операции move в byoh аннотация "byoh.infrastructure.cluster.x-k8s.io/byoh-status" не всегда удаляется после восстановления статуса
  • Для management кластера могли дублироваться объекты MachineSet с разными значениями machine-template-hash
  • После обновления количества реплик для объектов Cluster и WorkerPool они мгновенно становятся в состояние Ready
  • PDB Longhorn блокировал удаление кластера

• Web панель:

  • Обновлён функционал создания кластера
  • Добавлен функционал редактирования workload кластеров
  • Добавлено отображение статусов обьектов Cluster и WorkerPool

• vSphere:

  • Исправлено падение capv
  • Добавлен новый обязательный параметр .spec.infrastructure.vsphereConfig.cluster

Заметка

Провайдеры VK и Yandex всё ещё находятся в активной разработке и не предназначены для использования в продуктовой среде.

• VK Cloud:

  • Добавлена поддержка провайдера VK Cloud
  • Добавлена поддержка Load Balancer
  • Поле ImageId теперь изменяемое

• Yandex Cloud:

  • Обновлена поддержка провайдера Yandex Cloud
  • Исправлена ошибка удаления сетей
  • Подчинённый кластер в Yandex больше не зависает на этапе удаления

2.3.1

Инструкция по обновлению

• Yandex Cloud:

  • Добавлена поддержка LoadBalancer для пользовательских нагрузок
  • Добавлены режимы работы кластера Private, PrivateMachines, Public
  • Добавлена поддержка отечественных ОС (Astra Linux, RedOS)

• Добавлен механизм MachineHealthCheck

2.3.0

Инструкция по обновлению

• Yandex Cloud:
  • Обновлена поддержка провайдера Yandex Cloud (experimental);

• vSphere:

  • Обновлена поддержка провайдера vSphere (experimental);

• Платформа:

  • Добавлена возможность обновления подчинённых кластеров;

  • Добавлена поддержка Kubernetes версии 1.28;

  • Обновлена возможность установки разных версий Kubernetes 1.27.4, 1.27.6, 1.28.4 в рамках одного релиза Платформы;

  • Добавлена возможность настройки eviction лимитов в кластере и на пулах машин;

  • Произведен масштабный рефакторинг core-компонентов Платформы;

• Обновление компонентов в составе Платформы:

  • Cilium v1.13.4 -> v1.14.4;
  • Ingress Nginx - v1.8.1 -> v1.9.4;
  • Kyverno chart v1.10.3 -> v1.11.1;
  • Longhorn chart v1.5.1 -> v1.5.3;

• Исправление ошибок:

  • Исправлена ошибка, из-за которой в менеджмент-кластере оставались объекты аддонов после удаления подчинённого кластера;
  • Исправлена ошибка синхронизации ролевых политик с AD;
  • Исправлена ошибка с использованием спецсимволов в учетных данных registry;
  • Исправлена ошибка компонента мониторинга путём понижения используемой версии, последующие исправления - с патчами.

---

2.2.0

Инструкция по обновлению

• Baremetal:

  • Реализован новый планировщик byohost, теперь можно выбирать сервера по ресурсам
  • Теперь в ByoHost есть информация о доступных ресурсах сервера (.status.capacity)
  • Исправлен баг, в редких случаях byohost не освобождался при удалении machine
  • Исправлен баг с удалением сетевых интерфейсов при очистке сервера от компонентов k8s
  • Исправлен баг в механизме автоматической регистрации серверов, который приводил к невозможности регистрации

• Платформа:

  • Добавлена установка cert-manager в подчинённые кластера
  • Добавлен webhook, запрещающий деструктивные действия с KCP и MD компонентами
  • Исправлен баг, из-за которого в Longhorn volumes создавались с неправильным количеством реплик
  • Исправлен баг с созданием FQDN правил в редакторе сетевых политик
  • Обновление версии k8s инфраструктурного кластера до 1.27.6

• Web панель:

  • Исправлен баг с неработающим функционалом брендинга
  • Исправлен баг с некорректным отображением лоадера в светлой теме оформления при создания кластера
  • В меню создания нового кластера добавлен список namespace
  • Исправлен баг с дублированием favicon
  • Исправлен баг с удалением кластера из веб-интерфейса rancher

• Редактор сетевых политик:

  • Исправлен баг с невозможностью переименования сетевых политик из редактора
  • Добавлен выпадающий список с namespace в редакторе сетевых политик
  • Исправлен баг с некорректным отображением блокирующих сетевых политик в редакторе
  • Исправлен баг с закрытием всплывающих окон в редакторе сетевых политик

• Мониторинг:

  • Исправлен баг с некорректными метриками nginx
  • Добавлен новый дашборд в Grafana с метриками Longhorn
• Bootsmanctl
  • Исправлен баг с некорректным вызовом команды bootsmanctl delete

---

2.1.1

Инструкция по обновлению

• Новая ОС (RedOS 7.3.3)
• Новая глобальная роль - Bootsman Standard User
  • Роль с минимальными правами
• Новая кластерная роль - Pod Metrics
  • Роль даёт доступ к метрикам кластера
• Новая проектная роль - Bootsman project viewer
  • Доступны ресурсы проекта в режиме read only
  • Недоступны секреты проекта
  • Недоступны настройки проекта
• Новая проектная роль - Bootsman project member
  • Доступны все ресурсы проекта в режиме CRUD
  • Недоступны настройки проекта
• Новая проектная роль - Bootsman project admin
  • Доступны все ресурсы проекта
  • Доступна настройка проекта в части добавления новых пользователей и управления их правами, остальные настройки проекта недоступны

---

2.1.0

Инструкция по обновлению

• Исправления работы с self-signed сертификатами
• Исправления параметров системы хранения данных
• Исправления работы скрипта мироринга образов
• Обновление версий компонентов боцман
• Обновление инструмента создания новых кластеров: теперь полностью работоспособен в режиме airgap
• В инструменте создания кластера добавились новые поля для указания лейблов мастеров и воркеров
• Установка системы хранения в подчинённый кластер
• Установка мониторинга в подчинённый кластер
• Установка ингреса в подчинённый кластер
• Установка kyverno в подчинённый кластер
• Установка сервера метрик в подчинённый кластер
• Установка системы логирования в подчинённый кластер
• Установка сервера метрик в инфраструктурный кластер
• Убрали лишние логи при разворачивании ноды k8s
• Убрали лишнюю зависимость от kubeconfig для некоторых компонентов системы