Elastic SIEM – Logdaten auf anderes Volume umziehen

Einleitung

Die Daten des Elastic Stacks liegen ungünstig auf einem LVM-Volume, dass beim Setup auf der Hauptplatte meiner VM angelegt wurde. Diese wird nun immer größer und damit ist es schwierig, nur das Betriebssystem zu sichern. Also möchte ich die Daten auf ein neues Volume verschieben.

Der Artikel gehört zur Serie „Bereitstellung eines Elastic SIEM„.

IST-Situation

Das ist der aktuelle Stand: Alle Daten liegen auf einem einzelnen 70GB Datenträger.

Elastic SIEM Logdaten verschieben

Die Partition mit den Daten ist ein LVM-Volume, das fast voll ist:

Elastic SIEM Logdaten verschieben

Das ist mein derzeit konfiguriertes LVM:

Elastic SIEM Logdaten verschieben

Migration der Daten auf ein anders Volume

Einbau neuer virtueller Festplatten

Zuerst erstelle ich 2 neue vhdx-Festplatten gleicher Größe. Auf denen werde ich dann später ein neues LVM-Volume erstellen. Die Anpassung nehme ich im Hyper-V-Server vor:,

New-VHD -Path "V:\Hyper-V\PROD\WS-SIEM\Virtual Hard Disks\HDD1-Data.vhdx" -SizeBytes 100GB -Dynamic
New-VHD -Path "V:\Hyper-V\PROD\WS-SIEM\Virtual Hard Disks\HDD2-Data.vhdx" -SizeBytes 100GB -Dynamic

Add-VMHardDiskDrive -VMName "WS-SIEM" -ControllerType SCSI -Path "V:\Hyper-V\PROD\WS-SIEM\Virtual Hard Disks\HDD1-Data.vhdx"
Add-VMHardDiskDrive -VMName "WS-SIEM" -ControllerType SCSI -Path "V:\Hyper-V\PROD\WS-SIEM\Virtual Hard Disks\HDD2-Data.vhdx"
Elastic SIEM Logdaten verschieben

neues LVM-Volume anlegen

Zuerst erzeuge ich auf jeder der neuen Festplatten eine Partition mit dem Type 44, damit ich diese anschließend einer VolumeGroup zuweisen kann. Auf dieser lege ich dann ein logisches Volume an, dass ich abschließend formatiere:

ls -lh /dev/sd*   # /dev/sdd und /dev/sde sind die neuen Platten

sudo fdisk /dev/sdd
    n+p+1+++t+44+w
    
sudo fdisk /dev/sde
    n+p+1+++t+44+w
    
ls -lh /dev/sd*
sudo pvcreate /dev/sdd1
sudo pvcreate /dev/sde1

sudo vgcreate vg_elastic /dev/sdd1
sudo vgextend vg_elastic /dev/sde1

sudo lvcreate -i 2 -n lv_elastic -L 199G vg_elastic
sudo fdisk -l

sudo mkfs.xfs /dev/mapper/vg_elastic-lv_elastic
sudo mkdir /elasticdata
sudo mount /dev/mapper/vg_elastic-lv_elastic /elasticdata/
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben

Daten verschieben

Die Daten können nicht verschoben werden, während elastic läuft. Daher stoppe ich den Service. Anschließend verschiebe ich die bestehenden Daten in die neue Partition. Danach passe ich den Pfad in der ConfigFile vom elastic an und starte den Service wieder.

sudo systemctl status elasticsearch.service
sudo systemctl stop elasticsearch.service

sudo cp -pr /var/lib/elasticsearch /elasticdata

sudo nano /etc/elasticsearch/elasticsearch.yml

sudo mv /var/lib/elasticsearch/ /var/lib/elasticsearchold

sudo systemctl start elasticsearch.service

sudo rm -r /var/lib/elasticsearchold/
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben
Elastic SIEM Logdaten verschieben

Nun kontrolliere ich noch den Service im Webfrontend. Hier schaut alles fein aus. Die neue LVM-Plattengröße von 199GB wird korrekt angezeigt:

Elastic SIEM Logdaten verschieben

Nun entferne ich noch das alte Datenverzeichnis:

Elastic SIEM Logdaten verschieben

Abschluss

Der Umzug ist abgeschlossen. Sollte mir nun mal der Platz im DataLake ausgehen, dann kann ich entweder die beiden vhdx-Platten vergrößern oder weitere dem LVM-Pool hinzufügen. Ebenso kann ich diese nun einfacher auf dem Dateisystem im Hyper-V verschieben.

Weitere Artikel findet ihr in meiner Serie „Bereitstellung eines Elastic SIEM„.

Stay tuned 🙂

Kommentar hinterlassen