In eigener Sache: Das neue Server-Setup von ComputerBase (2021)

0
75

ComputerBase ist am Montagmorgen nicht nur auf neue Server umgezogen, sondern auch zu einem neuen Server-Provider in ein neues Rechenzentrum. Die neuen Server verfügen erstmals seit 14 Jahren wieder über AMD-CPUs (EPYC), nutzen ein NVMe-Software-RAID und haben die doppelte Menge RAM.

Die ComputerBase-Server werden zukünftig von 23M bereitgestellt, einem Provider für Dedicated Server, Colocation und Cloud Server. Der neue Server-Standort Frankfurt sorgt aufgrund seiner direkten Anbindung an einen der weltweit größten Internet-Knoten DE-CIX für eine noch etwas bessere Anbindung an die Netze der großen und kleinen DSL- und Kabel-Provider. An dem bewährten Prinzip, dass der Server-Provider die Hardware und das Netzwerk bereitstellt und wir uns selbst um Betriebssystem und Software kümmern, halten wir auch mit 23M fest.

Im Gegenzug für die Bereitstellung der Server werden die Themen Dedicated Server und Rechenzentrum-Technik im Allgemeinen sowie damit im Zusammenhang stehende Angebote von 23M in den kommenden drei Jahren alle paar Monate in wie üblich klar gekennzeichneten gesponserten Artikeln („Native Ads“) auf ComputerBase thematisiert.

AMD EPYC, NVMe-SSDs und mehr RAM

Als CPU ist in den beiden neuen Servern je ein AMD EPYC 7502P mit 32 Kernen verbaut (Zen 3 „Milan“ war leider nicht verfügbar). Wie seit einigen Jahren üblich, ändern die neuen CPUs verglichen mit dem Dual Xeon Silver 4110 mit zweimal 8 Kernen im alten Server-Setup (2018) überschaubar viel an der Single-Core-Leistung (Sysbench CPU +67%, Sysbench Threads +35%, Sysbench Memory +8%, OpenSSL AES +11%, OpenSSL ECDSA +20%, Geekbench +40%), aber die doppelte Anzahl an Kernen macht den Unterschied. Auf Servern mit AMD-CPU lief ComputerBase zuletzt von 2006 bis 2007 (Sun Fire X4100).

Bild 1 von 13

Ein ComputerBase-Server zusammen mit anderen Servern im Rack

Jeder Server verfügt über 10 Einschübe für NVMe-SSDs, von denen in der Regel nicht alle belegt sind

Die LEDs zeigen belegte NVMe-Bays und können auch blinken, um dem Techniker bei einem Austausch die Identifikation zu erleichtern

Die Rückseite der Server mit einem Stromkabel je Netzteil sowie Netzwerkkabeln für LAN und WAN (beide schwarz, SFP+-Modul) und IPMI (blau, RJ45-Stecker)

Unten im Rack werden die Netzwerkkabel der einzelnen Server an Switches angeschlossen

Die pinken Netzwerkkabel sind via QSFP+-Modul an die Switches angeschlossenen und leiten den Datenverkehr weiter zu den Core-Switches, die ihn wiederum an die Router weiterleiten

Beschriftungen der Netzwerkkabel ermöglichen deren Zuordnung zu einem Server

Die Rückseite der beiden Rack-Switches mit ebenfalls redundant ausgelegten Netzteilen

Supermicro A+ Server 1114S-WN10RT – Angled View

Supermicro A+ Server 1114S-WN10RT – Top View

Supermicro A+ Server 1114S-WN10RT – Front View

Supermicro A+ Server 1114S-WN10RT – Rear View

Supermicro Super H12SSW-NTR Mainboard

Für eine schnelle Website mindestens genauso wichtig wie die CPU ist das Storage-System. Während die alten Server noch einen Hardware-RAID-Controller mit SSDs (Betriebssystem, Datenbank, Suchindex, …) und HDDs (Bilder, Forumanhänge, …) hatten, nutzen die neuen Server ein Linux-Software-RAID mit NVMe-SSDs (4× Samsung PM983 960GB und 2× Samsung PM983 7.68TB). Der Grund für den Wechsel ist, dass Hardware-RAID-Controller mit der enormen Geschwindigkeit von (NVMe-)SSDs kaum noch mithalten können, weshalb man diese Aufgabe inzwischen in den meisten Fällen besser dem Betriebssystem und der ohnehin mit vielen Kernen ausgestatteten CPU überlässt. In unseren Benchmarks mit fio hat sich verglichen mit den alten Servern ein eklatanter Unterschied gezeigt: IOPS Write Test +677%, IOPS Read Test +489%, Throughput Write Test +639%, Throughput Read Test +851%, Latency Write Test +230%, Latency Read Test +71%.

Von CPU und Storage abgesehen, haben die neuen Server die doppelte Menge RAM (256 GB DDR4 ECC). Der Hersteller der neuen Server ist nicht mehr HPE, sondern Supermicro: Ein Supermicro A+ Server 1114S-WN10RT belegt im Rack eine Höheneinheit (1HE), hat zwei redundante Netzteile und unterstützt eine EPYC-CPU (Zen 2 oder Zen 3), bis zu 4 TB RAM und bis zu 10 SSDs.

Linux, Monitoring und Software-Setup

Die neuen Server laufen wie gehabt unter Gentoo Linux, jetzt mit dem Linux Kernel 5.15 und systemd-boot als Boot-Manager. Das Monitoring übernimmt jetzt nicht mehr Datadog, sondern Netdata, das ein für unsere Zwecke out-of-the-box sinnvoll konfiguriertes Dashboard und sinnvoll konfigurierte Alarme zu allerhand Server-Metriken (CPU, Memory, Disks, Networking, RAID, PHP, MySQL, …) bietet. Des Weiteren haben wir den Uptime-Monitor Pingdom ersetzt durch updown.io, denn jener unterstützt Dual-Stack-Setups (IPv4 + IPv6) auf saubere Weise, woran die anderen solchen Dienste unserer Erfahrung nach immer noch scheitern. Eine ansehnliche Status-Seite gibt es nun ebenfalls: https://status.computerbase.de/

Das Ausliefern der Website übernehmen nach wie vor nginx, PHP, Redis (Cache), MySQL (Datenbank, 38 GB, einfaches Source-Replica-Setup) und Elasticsearch (Suchindex, 6 GB). Dass der Suchindex verglichen mit dem alten Server-Setup sogar etwas geschrumpft ist, wird daran liegen, dass damals noch eine andere Forumsoftware und somit ein anderes Such-Backend (Sphinx Search) zum Einsatz kam.

Forumanhänge belegen mit 450 anstatt 134 GB heute deutlich mehr Platz, vermutlich auch weil wir nach dem Umstieg auf XenForo aus guten Gründen den IMG-BBCode abgeschaltet haben. Aber auch die Artikelbilder belegen mit 920 anstatt 491 GB heute deutlich mehr Platz, was auch den immer höher auflösenden Originaldateien von Smartphones und Digitalkameras geschuldet ist, die wir von jedem Bild vorhalten. Der restliche Speicher dient als Proxy-Cache für unsere Audio-, Video- und Download-Dateien, deren Originale wie gehabt auf Amazon S3 liegen.

Der Umzug

In den letzten 18 Jahren ist ComputerBase immer auf neue Server innerhalb desselben Rechenzentrums umgezogen und konnte die IP-Netze dabei mitnehmen. Diesmal handelt es sich um einen Umzug zu einem anderen Server-Provider, weshalb sich die IP-Adressen ändern, unter denen ComputerBase erreichbar ist. Schon einige Tage vor dem Umzug haben wir bei unseren DNS-Einträgen das Verfallsdatum (TTL, time to live) von 24 Stunden auf wenige Minuten reduziert, damit DNS-Caches bei Providern, in lokalen Netzen und in Browsern die neuen DNS-Einträge schnell aufgreifen. Denn unter den alten IP-Adressen bleiben die alten Server zwar noch für ein paar Tage erreichbar, liefern aber nur noch eine Infoseite aus.

Den eigentlichen Umzug haben wir in den letzten Wochen soweit möglich (natürlich ohne DNS-Änderungen) schon mehrmals durchgespielt, also ein Datenbank-Backup auf die neuen Server kopiert und dort eingespielt sowie die Bilddateien und Forumanhänge fortlaufend via rsync synchronisiert. Die Downtime am heutigen Morgen fiel daher mit rund einer halben Stunde überschaubar aus.

Fazit

In der Geschichte von ComputerBase ist 23M der vierte Webspace- bzw. Server-Provider. Nach den Anfängen bei 1&1 Puretec im April 1999 ging es im Dezember 2000 weiter zum Krawall Gaming Network (KGN) und 2003 mit erstmals eigenen Servern zu Host Europe (die Serversparte läuft seit Ende 2014 unter der Marke Plusserver). Der jetzige Wechsel des Server-Standorts von Köln nach Frankfurt zu 23M hat den Messungen von Teammitgliedern aus den unterschiedlichsten Ecken Deutschlands und aus ein paar Nachbarländern zufolge positive Auswirkungen sowohl auf die Paketumlaufzeit (RTT, „Ping“) als auch auf die Download-Geschwindigkeit.

Wir denken, dass wir unseren technisch interessierten Nutzern erneut einen interessanten Einblick in das Server-Setup von ComputerBase geben konnten und hoffen, dass ComputerBase nach dem Umzug zu 23M für alle Nutzer mindestens genauso geschmeidig läuft wie bisher. Feedback in den Kommentaren ist willkommen. Wir werden wie gewohnt versuchen, auf alle Fragen einzugehen.