Co to za urlop bez awarii.
Wczoraj o 7:10 dostałem informację, że padł jeden z serwerów
webowych. Jako, że jest to Bardzo Ważny Serwer, przerwałem to co
aktualnie mnie pochłaniało (spanie) i usiadłem do komputera.
Serwer webowy jest maszyną wirtualną hostowaną na Vmware ESX (jak większość mojej infrastruktury).
Problem ujawnił się zaraz po zalogowaniu do konsoli VI, na dysku
macierzy skończyło się miejsce. Ale moment, kilka dni temu było tam
33GB wolnego miejsca. Problemem okazał się “zapomniany” snapshot
zrobiony kilka tygodni wcześniej przez soft do backupu. Oprogramowanie,
owszem stworzyło snapshot, wykonało backup, ale po sobie nie
posprzątało. Snapshot rósł sobie w najlepsze przez kilka tygodni. W
międzyczasie na serwerze uruchomiony został proces defragmentacji
dysku. Co ta operacja robi z dyskami różnicowymi … teraz to wiem 
Ok, mam przyczynę, ale co z tym zrobić? Zawartość dysku w chwili padu wyglądała następująco:
dysk systemowy – 70 GB i dysk różnicowy 77 GB, reszta pomijalna, wolnego miejsca na dysku 30MB.
Z takiej sytuacji są dwa wyjścia – przenieść maszynę wirtualną na
większe dyski, albo zmergować dysk różnicowy z podstawowym. Jako, że
serwer i tak już nie działał, a klienci bili pianę wybraliśmy opcję
drugą. 30MB wolnej przestrzeni nie było problemem. W sytuacji, gdybym
miał więcej niż 1 aktywny snapshot, należałoby wygospodarować więcej
miejsca. Wyłączyłem serwer wirtualny, wybrałem snapshot i kliknąłem
delete. Po 15 minutach ESX wypluł komunikat “Operation timed out”.
Dziwne, na dyskach dalej 30MB wolnego miejsca, esx dalej mieli dyskami
jakby cały proces mergowania się nie zakończył. I nie zakończył się
faktycznie. Można to poznać na 2 sposoby – 1) to śledzenie operacji
zapisu i odczytu dysków (zakładka performance w VI) , 2) zalogowanie
sie do konsoli esx odnalezienie pliku dysku i śledzenia daty jego
modyfikacji. Jako, że maszyna jest wyłączona jedynym procesem jaki
zmienia jej znacznik czasu jest operacja mergowania. U mnie, przy 70GB
dysku różnicowym cała operacja trwała 2,5h (ESX 3.5). Podszas pracy
procesu (szczególnie jak zaniepokoi was komunikat o przekroczonym
czasie operacji) odradzam restart ESXa lub klikanie 2x “delete” na
snapshocie. Po zakończeniu scalania dysków, snapshota nie widać w
przystawce “snapshot manager” a na dysku brak plików dysku różnicowego
(dysk1-00000.x), no i 30GB wolnego miejsca. Lekcje na przyszłość:
Ustawić sobie alertowanie o kończącym się miejscu na dysku, śledzenie
czy któraś z maszyn wirtualnych przypadkiem nie ma aktywnego snapshota.
I spokojnie wracam na plac budowy – piękna, żółta kopara zabiera mi
ziemie z działki – zapytam kierowcy, może da pojeździć a on sobie na
fajeczke skoczy.
Tools 
