Боцман

Тема

Создание своего образа ОС для платформы Боцман ​

Внимание!

В случае baremetal установки пропустите этот шаг.
Для baremetal установки образы не требуются.

Внимание!

Работа GPU возможна только на узлах с ядром linux 6.1+

Подготовка образа ​

Создайте инстанс в облаке или гипервизоре и проведите настройку.

Базовые настройки ​

Если на ОС установлен one-context, удалите его

Выключите SWAP и включите компоненты ядра

bash
swapoff -a && sed -ri '/\sswap\s/s/^#?/#/' /etc/fstab
modprobe overlay && modprobe br_netfilter
mkdir /etc/containerd

Создайте файл /etc/sysctl.d/sysctl.conf с помощью команды

bash
cat <<EOF > /etc/sysctl.d/sysctl.conf
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv6.conf.all.forwarding=1
net.ipv6.conf.all.disable_ipv6=0
net.ipv4.tcp_congestion_control=bbr
vm.overcommit_memory=1
kernel.panic=10
kernel.panic_on_oops=1
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=524288
EOF

Создайте файл /etc/modules-load.d/containerd.conf с помощью команды

bash
cat <<EOF > /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

Отключение брандмауэра ​

Загрузка kubernetes компонентов ​

Загрузите с нашего публичного S3-хранилища дополнительные файлы:

  • containerd:
    bootsman_package_k8s_${Kubernetes_Version}/(amd64|arm64)/containerd

  • kubernetes компоненты:
    bootsman_package_k8s_${Kubernetes_Version}/(amd64|arm64)/kubernetes/(deb|rpm)/

Внутри хранилища, файлы распределены и упакованы по папкам в соответствии с необходимыми параметрами:

  • Kubernetes_Version - соответствует необходимой версии Kubernetes;
  • amd64/arm64 - соответствует необходимой архитектуре;
  • deb/rpm - соответствует необходимой версии ОС (deb - для Astra и Ubuntu, rpm - для RedOS).

Установка kubernetes компонентов ​

Дополнительные сетевые настройки ​

Создайте юнит для автозапуска настроек

bash
cat <<EOF > /etc/systemd/system/ethtool-conf.service
[Unit]
After=network.target

[Service]
ExecStart=/usr/local/bin/ethtool-conf.sh

[Install]
WantedBy=default.target
EOF

И сам скрипт

Заметка

Используйте имя вашего основного интерфейса вместо $

bash
cat <<EOF > /usr/local/bin/ethtool-conf.sh
#!/bin/bash

ethtool -K ${INTERFACE_NAME} tx-udp_tnl-csum-segmentation off
ethtool -K ${INTERFACE_NAME} tx-udp_tnl-segmentation off
EOF
bash
chmod 744 /usr/local/bin/ethtool-conf.sh
chmod 664 /etc/systemd/system/ethtool-conf.service
systemctl daemon-reload
systemctl enable ethtool-conf.service --now

Настройка Cloud-init ​

Поддержка GPU ​

Для создания образа с поддержкой GPU для baremetal или vsphere инсталяций потребуются дополнительные настройки

Выключите машину

bash
shutdown now

Для гипервизора vsphere потребеются дополнительные опции машин в Advanced Parameters

Для этого выберете выключенную машину для образа, заходим в Settings > Advanced Parameters Advanced Parameters Добавьте дополнительные параметры

bash
pciPassthru.64bitMMIOSizeGB=128
pciPassthru.use64bitMMIO=TRUE

Создание образа ​

Выключите машину, если не выключили в рамках настройки GPU

bash
shutdown now

После выключения подготовленного инстанса сконвертируйте его образ. В зависимости от использованного облака, воспользуйтесь инструкцией Yandex или инструкцией VK

Когда статус образа перейдет в статус Ready, подготовленный инстанс можно удалять.

Следующий шаг ​

Команда Боцман

© Боцман