VMware ESXi 5.0 Server

Nach einem Jahr mit einem HP ProLiant N36L mit einem 3Ware 9650SE-4LPML SATA RAID-Controller und 4x 2TB WD Green Disks wurde der Speicherplatz zwar nicht zu knapp, jedoch zu unflexibel: Knapp 2TB belegt – die vorhandenene Platten und die Ressourcen lassen sich doch besser nutzen?

Ein ESXi soll her. Mit (anfangs) einigermassen RAM, einer Platte mehr, mit möglichst wenig Stromverbrauch aber trotzdem ordentlich "Rumms". Dazu gleich noch die 32GB SSD, die schon länger auf ihren Einsatz wartet.

Diverse Whitebox-Listen und die VMware Hardware Compatibility Liste helfen bei der Auswahl der richtigen Hardware.

Gehäuse

Nach einigen Tagen hin- und her Überlegen fiel die Wahl auf ein Lian Li Gehäuse, das zwar nicht berauschend viel Platz birgt, aber im direkten Vergleich zum N36L z.B. keine Gynäkologen-Hände zum RAM-Tausch erfordert: Lian Li PC-Q25, Mini-ITX mit 5x + 3x HDD – Review

Mainboard, RAM und CPU

Die Wahl fiel auf das Intel DQ67EP wegen der Intel-Netzwerkkarte und VT-d. Der NEC USB 3.0 Controller kann so für Backups und Datenaustausch an die "NAS-VM" durchgereicht werden.

Die Specs in Kürze: 1x PCIe 2.0 x16, 1x Mini-PCIe 2.0 x1, 1x Intel GBit-LAN, Q67-Chipsatz, AMT 7.0 für Fernwartung und eben VT-d.

Dazu ein Xeon E3-1260L mit 4 Kernen à 2,4GHz, 45W TDP, 8MB Cache, VT-x und VT-d. Vertretbarer Preis, wenig Abwärme und ordentlich Hirn. Dazu ein Intel Boxed-Lüfter für einen Core i7 mit Kupferkern, bis 95W TDP.

An RAM sind momentan 8GB Hynix HMT351U6AFR8C-H9 DDR3-1333 verbaut, 2x 4GB – bis die 8GB Riegel "more affordable" sind.

Festplatten

4 schon früher in einem RAID5 verwendete WD20EARS, dazu die fünfte "Reserverad-Platte" mit identischer Firmware. Die neu ergatterte Spare im Schrank ist ebenfalls eine WD20EARS, jedoch eine andere Revision.

Dazu eine Patriot Torqx2 SSD mit 32GB als System-Laufwerk und kleiner Datastore.

RAID-Controller

3Ware und LSI RAID-Controller sind günstig und beliebt. Bei den meisten ITX-Boards mit H61/H67-Chipsatz kann das WebBIOS von LSI 83xx/87xx-Controllern jedoch nicht mit STRG + H aufgerufen werden – die Boards hängen komplett beim Aufruf mit STRG + H.

Die BIOS-Implementierungen auf Server-Boards sind in der Regel sauberer, dort geht es im Allgemeinen problemloser. 3Ware-Controller sind da genügsamer, der Aufruf des BIOS ist noch auf keinem mir bekannten Mainboard gescheitert.

Ein paar mit einem LSI 8308ELP und einem LSI 8344ELP gesteste Boards, alle mit verschiedenen BIOS-Versionen:

• Intel S1200KP Server Board mit C206-Chipsatz: LSI WebBIOS nicht aufrufbar
• Gigabyte GA-H61N-USB3: LSI WebBIOS nicht aufrufbar, bootet mit eingestecktem LSI-Controller nicht von SSD an SATA0
• ASRock H61M-ITX: LSI WebBIOS geht, Booten von SSD geht
• Intel DH67CF: LSI WebBIOS geht nicht immer, Booten von SSD an SATA0 geht

Die Probleme liegen zum einen an der Implementierung des SMBus auf den Boards, zum anderen an (U)EFI und an den PCIe 1.0 Controllern, die doch öfters in PCIe 2.0 Slots Probleme machen. Siehe auch im Hardwareluxx-Forum.

LSI 83xx-Controller unterstützen keine Festplatten mit mehr als 2TB!

Der LSI MegaRAID SAS 9260-8i ist neuer und hat eine bessere UEFI-Unterstützung – STRG-H funktioniert mit allen getesteten Boards, mit Firmware 12.12.0-0090. Details: 8x SATAII auf 2x SFF-8087, PCI Express 2.0 x8, mit BBU – Review 1, Review 2.

Mein bisheriger 3Ware 9650SE-4LPML hat nur 4 Anschlüsse, daher musste er zusammen mit dem HP ProLiant N36L verschwinden. Bei der anschließenden Wahl zwischen einem 3Ware 9650SE-8LPML und dem LSI 9360-8i hat letzterer gewonnen:

• Neuere Chip-Architektur
• Bessere Reviews
• Generell bessere Ausstattung: x8 PCIe 2.0, 512MB Cache, 6 GBit/s etc.
• Preis in etwa vergleichbar

Zudem ist der LSI ca. 1cm kürzer und hat die SFF-Buchsen seitlich, dort ist mehr Platz im Gehäuse (50cm lange SFF-8087-Kabel sind knapp, besser 60cm nehmen, z.B. LSI CBL-SFF8087OCF-06M) und die Unterstützung des LSI unter ESXi ist definitiv gegeben, die des 3Ware nur angekündigt bzw. noch unausgereift.

Der doch recht warme heiße RoC des Controllers kann mit einem Titan "TTC-003" gekühlt werden, im Slot neben dem Controller verbaut sitzt er an genau der richtigen Stelle:

Netzteil

Nach Experimenten mit einem 430-Watt Corsar CX430, das zwar kurz genug ist (Bei ca. 140mm Einbautiefe ist Ende im Lian Li Gehäuse) kurzerhand auf ein Silverstone ST45SF mit 450W gewechselt: SFX-Form mit ATX-Adapterplatte, nur 100mm lang – Review.

Mit dem 450Watt SFX-Netzteil ist alles einwandfrei zu verstauen: Die beiden langen PEG-Kabel des Netzteils wurden 2cm nach dem Austreten aus dem Netzteil gekappt und die Enden mit Schrumpfschlauch isoliert – so ist unten im Gehäuse genug Platz für die SATA-Kabel und Kleinkram. Auch die Kabel zwischen Mainboard und Netzteil kommen dem CPU-Lüfter nicht so nahe wie bei einem ATX-Netzteil. Mit zwei Molex 5,25″ Y-Kabeln reichen die Anschlüsse neben den 3 für die SATA-Backplane auch für den oberen und den vorderen Gehäuselüfter aus.

Software – VMware vSphere ESXi 5

Der freie ESXi 5 kann nach Registrierung bei VMware bezogen werden. Ohne Registrierung läuft die Testversion 60 Tage, die Features der freien – registrierten – Version reichen für den Hausgebrauch aber.

Patchen der Installer-CD mit Treibern

Kindergarten RAID-Controller und Software-RAID werden von ESXi generell nicht unterstützt.

Da mehrere User schreiben, dass die Intel 82579V Gigabit Netzwerkkarte nicht "out of the box" unterstütz wird, 3Ware 9xxx-Controller ebenfalls nicht, wird das ESXi5-ISO noch mit dem ESXi Customizer gepatcht.

VIB-Dateien für Intel GBit Netzwerk sowie 3Ware- und LSI-Controller:

Intel 82579V Gigabit Ethernet Controller

• Datei: E1001E.tgz
• Info und Download: Hier

3Ware 9650SE-4/8LPML RAID-Controller

• Datei: scsi-3w-9xxx-3.26.08.036-1OEM.500.0.0.406165.x86_64.vib
• Info und Download: Hier, lokale Kopie hier, falls sie wieder vom Netz verschwindet

LSI 9260-8i RAID-Controller

• Datei: scsi-megaraid-sas-5.34-1vmw.500.0.0.406165.x86_64.vib
• Info und Download: hier

Das Patchen muss in mehreren Durchgängen erfolgen mit jeweils einem Patch.

Nach der Installation des ESXi auf der SSD steht dann der Rest der SSD und das RAID5-Array für Datastores zur Verfügung. Der LSI-Controller funktioniert 100%, ein 3Ware 9650SE-8LPML-Controller funktioniert ebenfalls fehlerfrei:

Zur Installation des LSI MegaRAID Treibers im Nachhinein (Nach Installation von ESXi auf USB oder eine andere Festplatte) und des SMI-S Providers zum Überwachen des Status von LSI-Controller, -BBU und Disks aus dem vSphere-Client heraus siehe Tinkerty.com.

Virtuelle Maschinen

Das "alte" NAS wird zuerst virtualisiert: Wie vorher auf blankem Metall auch, 10GB für Debian, plus ein nach /data gemountetes Datengrab.

Grundeinstellungen: 2 CPUs, 2GB RAM, VMXNET3-Netzwerkkarte, USB3-Controller, Gentoo Mini-ISO (x86/amd64) als CDROM.

Eine 10GB Virtual Disk (8GB ext4, 2GB swap) für Debian 6.0.4 (64Bit), auf die nach dem Booten einer Gentoo Mini-CD das Stage4-Backup des N36L zurückgespielt und angepasst wird:

• Netzwerkkarte aus Performance-Gründen auf VMXNET3 umstellen
• VMware-Tools installieren
• Mount-Points anpassen
• UUIDs und MAC-Adresse anpassen

Dazu zwei 2TB große Virtual Disks (Die maximale Dateigröße unter VMFS-5), die unter Debian als md-raid wieder zu einem RAID0 zusammengeführt werden. Fertig.

Später kann dann der VM bei Bedarf eine weitere 2TB-Disk hinzugefügt werden und das RAID0 mit anschließendem resize2fs aufgeblasen werden.

Neben dem NAS kann der Rest an Kapazität anderen VMs zum Testen zugewiesen werden.

Stromverbrauch

Ein Tevion Verbrauchsmesser zeigt folgende Werte:

• Ausgeschaltet, Netzteil an: 1,3 Watt
• Controller initialisiert Platten: Kurzzeitig (~10s) 104 Watt
• Im BIOS: 78 Watt
• ESXi-Boot, laden von Modulen: 78 Watt
• ESXi ohne VMs: 58-62 Watt
• Eine VM (Debian): 60-62 Watt
• Bonnie++: Maximal 91 Watt (-c 4 -s 16384 -r 8192), Schnitt 80-81 Watt
• Zwei VMs (Debian und Server 2003): 64-72 Watt

Alles unter ESXi5, Mainboard Intel S1200KP, mit 6 Stück WD20EARS (eine mehr als im Normalbetrieb), aktiviertem Speedstep und Energie-Richtlinie "Geringe Leistungsaufnahme". Mit dem DQ67EP außer "aus" jeweils 2-5 Watt weniger!

Performance

"Ausreichend" – um es kurz und mit Untertreibung zu beschreiben. Und der durchgereichte USB3-Controller tut wie er soll:

Unter der Linie

Weg sind die ausbezahlten Überstunden, und trotzdem 100% zufrieden. Stromverbrauchs-technisch ist das Intel DQ67EP Board nicht unbedingt für seine sehr geringe Leistungsaufnahme bekannt, der Xeon trotz niedrigen 45W TDP auch nicht.

Mit dem RAM könnte man ebbenfals noch etwas geizen, aber im Gegenteil: 2x 8GB sind bestellt – dafür muss man halt 1-2 Mal im Monat per Hand abwaschen statt die Spüli füllen und im Sommer öfter 'mal grillen statt Kochen.

Ausserdem brauchen ja in Zukunft 4 Stück 3TB-Platten eventuell weniger Strom als 5 2TB-Disks?!?!? ;) Kurz gesagt: Die Spielwiese todesstern.local.lan ist perfekt.

31 andere Seiten unter 'Computer und Netzwerk'

• API für MAC-Adressen Hersteller (Älter als 730 Tage) - 01.02.2015
• Automatischer Proxy im Netzwerk mit PAC/WPAD (Älter als 730 Tage) - 09.11.2018
• Autoritativer DNS-Server mit dnsmasq (Älter als 730 Tage) - 10.02.2016
• Eigener DynDNS auf Netcup-vServer mit API (Älter als 730 Tage) - 14.04.2020
• Eigener DynDNS mit Bind, Apache und PHP (Älter als 730 Tage) - 03.03.2015
• Eigener DynDNS mit dnsmasq, Apache und PHP (Älter als 730 Tage) - 08.02.2016
• Freecom Musicpal Webradio (Älter als 730 Tage) (Mit 6 Unterseiten) - 29.03.2011
• Fujitsu Esprimo X923 Innereien (Älter als 730 Tage) - 30.10.2018
• Grav-Codeschnipsel: Mindesthaltbarkeitsdatum (Älter als 730 Tage) - 27.03.2021
• Grav-Plugin "File Exists" (Älter als 730 Tage) - 26.03.2021
• HP ProLiant Microserver N36L (Älter als 730 Tage) (Mit 2 Unterseiten) - 12.10.2011
• HTML5-Canvas mit Partikeln und Hintergrundbild (Älter als 730 Tage) - 28.04.2021
• Hunsn RM02 Firewall-Appliance (Älter als 730 Tage) (Mit 4 Unterseiten) - 03.04.2021
• Internetverbindung, Router und Hausnetz (Älter als 730 Tage) - 22.10.2018
• Keine Treiber-Installation unter Windows 8.1 möglich (Älter als 730 Tage) - 30.03.2020
• Lenovo A600 Innereien (Älter als 730 Tage) - 08.04.2011
• Live-Anzeige von Logdateien mit Websocket, Apache/Nginx und Javascript (Älter als 730 Tage) - 23.04.2021
• LoRaWAN-Gateway in 90518 Altdorf (Älter als 730 Tage) - 24.01.2020
• M740AV PHP-Skript (Älter als 730 Tage) - 31.10.2007
• OPNsense-Router: Durchsatz mit PC Engines APU-Board (Älter als 730 Tage) - 31.03.2021
• Prism WLAN-Karten für WPA flashen (Älter als 730 Tage) - 08.07.2006
• SSH auf Linksys/Belkin Access Points aktivieren (Älter als 730 Tage) - 23.02.2015
• Thinkpad T61 - WWAN/UMTS nachrüsten (Älter als 730 Tage) - 25.02.2011
• Time Capsule Elkos tauschen (Älter als 730 Tage) - 13.12.2012
• TP-Link CPE210 Umbau auf Rundstrahler (Älter als 730 Tage) - 25.09.2015
• TTL-seriell-Kabel für Router, NAS und anderes (Älter als 730 Tage) - 29.10.2010
• TTL-USB-Kabel für Router, NAS und anderes (Älter als 730 Tage) - 29.10.2010
• TTNMapper-Node mit Heltec "SX1276 Lora ESP32 v2" (Älter als 730 Tage) - 28.01.2020
• TTNMapper-Node mit TTGO "T-Beam Board v10" (Älter als 730 Tage) - 06.02.2020
• WaveShare SpotPear 3.2 Zoll LCD am Raspberry Pi (Älter als 730 Tage) - 11.02.2015
• Windows-Update komplett resetten (Älter als 730 Tage) - 30.10.2018