# ЭТАП 0. Подготовка ОС (на всех Ceph-нодах)

## обновление системы
apt update && apt upgrade -y

## базовые пакеты (без chrony/dns/hosts)
apt install -y \
  ca-certificates \
  curl \
  gnupg \
  lvm2 \
  podman

## отключаем swap (ОБЯЗАТЕЛЬНО для k8s; для Ceph не строго, но лучше сразу)
swapoff -a
sed -i '/ swap / s/^/#/' /etc/fstab

## проверка дисков (убедись, что OSD диски пустые)
lsblk

# ЭТАП 1. Установка Cephadm (на bootstrap-ноде и затем на всех нодах)

apt install -y cephadm ceph-common
cephadm version
ceph -v

# ЭТАП 2. Bootstrap кластера (только на первой ноде / mon)

cephadm bootstrap \
  --mon-ip 192.168.0.102 \
  --initial-dashboard-user admin \
  --initial-dashboard-password password \
  --allow-fqdn-hostname

ceph -s
ceph orch ps

# ЭТАП 3. Добавляем остальные ноды в orchestrator

ceph cephadm get-pub-key
systemctl restart ssh

ceph orch host add dev-kyiv01-vm-ceph-main-02 192.168.0.103
ceph orch host add dev-kyiv01-vm-ceph-main-03 192.168.0.104

ceph orch host ls


# ЭТАП 4. Добавляем OSD (на каждой ноде)

## bootstrap-node (локальная)
ceph orch daemon add osd dev-kyiv01-vm-ceph-main-01:/dev/sdb
ceph orch daemon add osd dev-kyiv01-vm-ceph-main-01:/dev/sdc

## vm-ceph-kyiv-02
ceph orch daemon add osd dev-kyiv01-vm-ceph-main-02:/dev/sdb
ceph orch daemon add osd dev-kyiv01-vm-ceph-main-02:/dev/sdc

## vm-ceph-kyiv-03
ceph orch daemon add osd dev-kyiv01-vm-ceph-main-03:/dev/sdb
ceph orch daemon add osd dev-kyiv01-vm-ceph-main-03:/dev/sdc

## Проверка:

ceph osd tree
ceph -s


# ЭТАП 5. Пул под k8s RBD

ceph osd pool create k8s-rbd 64
ceph osd pool application enable k8s-rbd rbd

ceph osd pool ls
ceph osd pool get k8s-rbd all

## Мини-чеклист

ceph -s
ceph orch host ls
ceph orch ps
ceph osd tree

# Delete broken cluster
cephadm rm-cluster --force --fsid e3b4050a-e8be-11f0-84c2-027a4c119066