๐งฑ Proxmox VE ้ฒๅ่้ซๅฏ็จ่จญ่จ：้ฟๅ ็ฏ้ปๅคฑ่ฏ、็ฃ็ขๅคฑๆ่ Quorum ๆ้ป็ๅฎๆดๆๅ
ๆถ่จญ Proxmox VE ๅข้（Cluster）ๆ，ๆๅธธ้ๅฐ็ๅ้กๅ ๅซ： ็ฏ้ปๅคฑ่ฏ、Quorum ๆถๅคฑ、่ๆฌๆฉ็กๆณ็งป่ฝ、้ซๅฏ็จ（HA）ๅคฑๆ、Ceph OSD ๆ้ป、SSD ่ฎๅฏซๅฟซๆ。
ๆฌๆๅฐ็จๆๅฎๆด็ๆนๅผๆด็ๅบ「Proxmox ้ฒๅ่้ซๅฏ็จๆถๆงๆไฝณๅฏฆๅ」，็ฎๆจๆฏ่ฎไฝ ็ๅข้ ๆฐธ้ ็ถญๆ็ฉฉๅฎ，ไธๆๅ ็บๅฎ้ปๅ้กๅฐ่ดๆดๅ็ฐๅขๅๆบ。
๐ ไธ、Proxmox Cluster ๆๅฃ็็ๆญฃๅๅ
ๅนพไนๆๆ Proxmox ๅข้ๅ้ก，้ฝๅฏ่ขซๆญธ้ก็บไธๅคง้ก：
- ① ็ถฒ่ทฏๅ้ก：Corosync ๅปถ้ฒ、Bond ๆจกๅผ้ฏ่ชค、VLAN ้ ็ฝฎ้ฏ่ชค、MTU ไธไธ่ด
- ② ๅฒๅญๅ้ก：Ceph ๅฎ้ป、OSD ๆ้ป、SSD ๅฃฝๅฝ้็ญ、ZFS over-provision ้้ซ
- ③ ็ฏ้ปๅ้ก：ๆ้ไธๅๆญฅ、CPU C-State、Power Saving ้ ๆๅก้ ๆๅปถ้ฒ
Proxmox ๅข้ๆๆ็ๆฏ： ็ถฒ่ทฏๅปถ้ฒ + ๅฒๅญไธ็ฉฉ = Corosync ้่ผ = Quorum ๆ้ป = ๆดๅๅข้็กๆณๆไฝ
๐ ไบ、ๅปบ่ญฐ็ Proxmox HA ็ถฒ่ทฏๆถๆง（ASCII ็คบๆ）
3 Nodes Cluster（ๅปบ่ญฐ 3、5、7 ๅฐ，ไธ่ฆ 2 ๅฐ）
---------------------------------------------
(Corosync / Cluster Network)
10.0.0.0/24 —— ไฝๅปถ้ฒ็จ็ซ็ถฒๆฎต
+-----------+ +-----------+ +-----------+
| Node1 | | Node2 | | Node3 |
| vmbr0 mgmt| | vmbr0 mgmt| | vmbr0 mgmt|
+-----+-----+ +-----+-----+ +-----+-----+
| | |
+--------Bond0------+--------Bond0------+----- (Cluster Net)
(LACP / Active-Backup)
้้ป：
- Cluster Network（Corosync）ๅฟ ้ ่ VM Traffic ๅ้ข
- ๅปบ่ญฐๅ
ฉๅผต็ถฒๅกๅ
Bond0 (active-backup)ๆ LACP - Cluster/HA/Corosync ไธ่ฆ่ทๅจ VLAN trunk ่ฃก，ๅปถ้ฒๆๆด้ซ
- ไธๅฐไปฅไธๆ่ฝๆ Quorum（2 ๅฐไธๅฎๆๅ้กๅค）
๐ ไธ、Proxmox ๅฟ ๅ็็ฉฉๅฎ่ชฟๆ ก（้ฒๅ่จญๅฎ）
1. ้้ CPU C-State（้ฟๅ ๅก้ ่ Corosync spike）
# ๅจ BIOS ไธญ้้ไธๅ： Intel SpeedStep C1E Support C-State Package C-State limit (่จญ็บ C0)
2. ้ๅ chrony（ๆ้ไธๅๆญฅๆๅฐ่ดๅข้ๅคฑ่ฏ）
apt install chrony -y systemctl enable chronyd --now
3. Cluster Network ไฝฟ็จๅฐ็ท（้ฟๅ ๅปถ้ฒ）
ping -f 10.0.0.12 # ๅฆๆๅปถ้ฒ่ถ ้ 1ms ๅฐฑไธๅปบ่ญฐ่ท HA
4. Corosync ่จญๅฎ่ชฟๆด
/etc/pve/corosync.conf rrp_mode: passive token: 3000 consensus: 6000 join: 60
token/consensus ๅ ้ทๅฏไปฅ้ฟๅ 「็ฌๆทๅฐฑๆ cluster」ๅ้ก。
๐ ๅ、่จๅ Ceph ็้ฒๅ่จญ่จ（้ฟๅ OSD、MON ๆ้ป）
Ceph ๆฏๆดๅๅข้ไธญๆๅฎนๆๅ ็กฌ้ซๅ้ก่้ฃ้ๅดฉๅฃ็้จๅ。
1. ๆฏๅฐ่ณๅฐ่ฆๆ 1 MON、1 MGR
Node1 → MON + MGR Node2 → MON + MGR Node3 → MON + MGR
2. OSD ๅปบ่ญฐ่ณๅฐ 6 ้ก（ๆฏ็ฏ้ป 2 ้ก）
- SSD / NVMe ๅปบ่ญฐ Enterprise ็ด（DWPD>1）
- ไธ่ฆ็จ TLC/QLC ๅฎถ็จ SSD，OSD ๆฅตๆๆๅฃ
3. Ceph Network ไธๅฎ่ฆ็จ็ซ（ไธ่ฆ่ทๅจ mgmt）
Public Network: 10.10.0.0/24 Cluster Network: 10.11.0.0/24
4. ่จญๅฎๅฅๅบทๆชขๆธฌ
ceph osd set-require-min-compat-client luminous
๐ ไบ、้ฟๅ Quorum ๆ้ป：ๅข้ๆ้่ฆ็้ฒๅ
Proxmox ๅข้ๅคฑ่ฏ็ 70% ้ฝ่ Quorum ๆ้。
1. ไฝฟ็จ「ๅฅๆธ็ฏ้ป」
3 ๅฐ → ๆไฝๅฏ้ไฝ：2 5 ๅฐ → ๆไฝๅฏ้ไฝ：3 7 ๅฐ → ๆไฝๅฏ้ไฝ：4
2. ๅ่ฌไธ่ฆ้ๆจฃๅ：
- ❌ ๅ ฉ็ฏ้ป cluster（้ๅธธๅฎนๆ split-brain）
- ❌ Cluster Network ๆพๅจ VLAN trunk
- ❌ ็จๅฎถ็จ switch
- ❌ ไฝฟ็จ QLC/TLC SSD ็ถ OSD
3. ้ๅ QDevice（็ตฆๅ ฉ็ฏ้ป็จ็，ๆ็จๆผๆๅๅฏ็จๆง）
pvecm qdevice setup
QDevice ๆฌ่ณชๆฏ「ๆ็ฅจๆฉๅจ」，่ฎ Quorum ไธๅฎนๆๆ。
๐ ๅ ญ、ๅฆไฝ้ฟๅ ็ฏ้ปๆ็ท（Node lost）
Proxmox ็ฏ้ปๆ็ทๅธธ่ฆๅๅ ：
- ็ถฒ่ทฏ delay > 5ms（ๆๅธธ่ฆ）
- NTP ไธๅๆญฅ
- CPU ็้ปๆจกๅผ
- Bond ่จญ็ฝฎ้ฏ่ชค（802.3ad ๆ port、hash ไธไธ่ด）
- Cluster Network ๆทท้ VM Traffic
ๅปบ่ญฐๆชขๆฅๆนๅผ
# ๆชขๆฅ corosync ็ๆ pvecm status # ๆชขๆฅๅปถ้ฒ corosync-cfgtool -s # ๆชขๆฅ็ฏ้ป log journalctl -f
๐ ไธ、Proxmox HA ๅฟ ๅ็「ๅฎๆด้ฒๅ้ ็ฝฎ」
ไปฅไธ็บไผๆฅญ็จ็ๆไฝณ HA ้ ็ฝฎ：
- Cluster Network ๅฐ็ท + Bond0
- Management Network (vmbr0) ๅ้ข
- Ceph Public/Cluster network ๅ้ข
- ็ฏ้ป CPU C-State ้้
- ๅ จ้จไฝฟ็จ Enterprise SSD / NVMe（DWPD＞1）
- Bios ่จญ็ฝฎๅบๅฎๆจกๅผ（Performance、ๅ็จ็้ป）
- ๅ็จ chrony，ๆๆ็ฏ้ปๅฎๅ จๅๆญฅ
- ็ฆ็จๅ ฉๅฐ cluster，่ณๅฐไธๅฐ
๐ ๅ ซ、็ฏไพ：ๆไฝณ Proxmox Cluster ไธ็ถฒๅๅ（ไผๆฅญ็）
vmbr0 → Management vmbr1 → Ceph Public (10.10.0.x) vmbr2 → Ceph Cluster (10.11.0.x) bond0 → Corosync (Cluster Net)
้็จฎๆถๆง็ๅช้ป：
- ็ฎก็、Ceph、Cluster ๅ้ข，ไธไบ็ธๅนฒๆพ
- ๅปถ้ฒๆฅตไฝ，HA ไธๆไบ่ทณ
- ไปปไฝไธๅ็ถฒ่ทฏๅบๅ้กไธๆๆๅฎๅข้
๐ ไน、ๅธธ่ฆ็้ฏ่ชคๆถๆง（ๅๅฟ ้ฟๅ ）
- ❌ ๅๅคง็็ฐๅขๅชๆ 2 ๅ Node
- ❌ Ceph + ็ฎก็ + VM + Corosync ๅ จ้จ่ทๅไธ็ถฒๅก
- ❌ VLAN Trunk ๅ ง่ท Corosync
- ❌ Home Switch ็ถๆ ธๅฟไบคๆๅจ
- ❌ ไฝฟ็จ SATA SSD ้ช Ceph
๐ ๅ、็ธฝ็ต（ไฝ ๆ่ฉฒ้ๆจฃๅ）
ๅฆๆ่ฆ่ฎ Proxmox Cluster ๆฐธ้ ไธๆ、ๆฐธ้ ไธๅฃ，ไฝ ๅฟ ้ ้ตๅฎไปฅไธๅๅ：
- ✔ Cluster Network ไธๅฎ็จ็ซ
- ✔ Corosync ๅปถ้ฒ้ๅฐๆผ 2ms
- ✔ Ceph ้ไฝฟ็จ Enterprise SSD
- ✔ ๅฟ ่ฆๆๅ็จ QDevice
- ✔ ้้ BIOS ็ฏ่ฝๆฉๅถ
- ✔ ๅฟ ๅฎไฝฟ็จๅฅๆธ็ฏ้ป
ๅๅฐ้ไบ，ไฝ ็ Proxmox ๅข้ๅฐ่ฝๅจ็กฌ้ซๆ ้、็ถฒ่ทฏ็ฌๆท、็่ณ OSD ๆๆฏ็ๆ ๆณไธ，ไป็ถไฟๆ้ซๅฏ็จๆงไธฆๅฟซ้ๆขๅพฉ。
ๆฒๆ็่จ:
ๅผต่ฒผ็่จ