Auf Grund von technischen Problemen in den Routern des Rechenzentrums kommt es derzeit zu Ausfällen des Servers Mars.

Diese liegen nicht in unserem Einflussbereich, wir bemühen uns jedoch um eine schnellstmögliche Behebung (soweit möglich).

Wenn genauere Informationen über die Störung vorliegen, werden wir hier informieren.

Update 1: Die Störung scheint behoben zu sein, Informationen über die Ursache liegen noch nicht vor.

Update 2: Die Stellungnahme des Rechenzentrums liegt nun vor:

Sehr geehrte Damen und Herren, verehrte Kunden,

In den vergangenen 6 Tagen kam es immer wieder zu sporadischen
Ausfällen von jeweils ca. 5-10 Minuten des IPX-Server CoLo-Routers.

Nach den Ausfällen am vergangenen Mittwoch, Freitag und Sonntag wurden
heute gegen 6.00 Uhr Hardwarekomponenten des betroffenen Gerätes
getauscht.

Trotz dieses Austauschs ereigneten sich im Lauf des Vormittags ein
weiterer Ausfall um 10.31 Uhr mit identischen Fehlermeldungen, worauf
der Hardwarelieferant Cisco Systems uns nahelegte ein Softwaredowngrade
auf dem betroffenen Gerät zu fahren, da vermutlich ein Fehler in der
aktuellen Cisco IOS/CatOS Software in Verbindung mit bestimmten
Hardware-Revisionen einzelner Einschubmodule zum Absturtz mit der von
uns genannten Fehlermeldung führen kann.

Aus diesem Grund war geplant ein Wartungsfenster für morgen früh anzusetzen um dieses Downgrade durchzuführen.
Da sich bereits um 12.56 Uhr der nächste Ausfall des Gerätes ereignete
haben wir das Softwaredowngrade im Zuge des Reboots des Routers sofort
durchgeführt um weiteren Ausfälle vorzubeugen.
Durch das Softwaredowngrade wurden unerwartet einige
Konfigurationsdaten verworfen, weshalb diese manuell wieder eingepflegt
werden mussten, was zu einer deutlichen Verlängerung der Ausfallzeit
führte.

Seit 13.58 Uhr läuft das Gerät wieder im Normalbetrieb mit einer
älteren Softwareversion und wir hoffen die sporadischen Ausfälle damit
beseitigt zu haben.

Cisco Systems arbeitet weiter mit Hochdruck an der Fehleranlyse und Beseitigung.

Sobald uns neu Informationen vorliegen werden wir Sie umgehend informieren.

Anstatt wie bisher die MySQL-Datenbanken auf ext3 zu speichern, nutzen wir nun auf Mars XFS. Dieses Dateisystem ist besonderes auf hohe Leistung ausgelegt, was sich insbesondere bei großen Datenbanken, wie es bei manchen Kunden auf Mars der Fall ist, zeigt.

Da auf Mars ebenfalls unser Monitoring-System Zabbix liegt, und dieses mit mehr als 1,2GB Datenbank die meiste Systemlast der Datenbank verursacht, hoffen wir, dass sich durch den Wechsel auf XFS die Systemlast weiter senkt.

Bei Performance-Gewinn werden wir die anderen Server dann ebenfalls auf XFS umstellen, um dort dann auch profitieren zu können.

Nachdem der ionCube Loader bisher nur mit PHP5.1 installiert war, haben wir diese PHP-Erweiterung wieder installiert.

Entsprechend encodierte Skripte können somit wieder auf allen Servern verwendet werden.

• PHPInfo Venus
• PHPInfo Mars

Am 21.07.2007 werden wir ab 15:00 reguläre Wartungsarbeiten an den Webhosting-Systemen Venus und Mars durchführen.

Die Server werden dabei mit Kernel 2.6.22.1 ausgestattet, um Sicherheitslücken, die in Version 2.6.21 gefunden wurden, abzusichern. Um den Kernel zu aktivieren, ist ein Neustart des Server notwendig.

Zusätzlich werden wir die Netzwerkverbindung warten, wodurch es zu einer kurzen Nicht-Erreichbarkeit des Servers Venus kommen wird.

Die Wartungsarbeiten sollten die Dauer von gesamt 45 Minuten nicht übersteigen, wobei die Ausfälle nicht so lange dauern.

Nach Abschluss der Arbeiten werden wir hier wieder informieren.

Update: Die Wartungsarbeiten wurden erfolgreich abgeschlossen.

Nach den hier berichteten Problemen auf Venus haben wir Änderungen an der Webserver-Konfiguration vorgenommen. Diese wurden nicht nur auf Venus umgesetzt, sondern auf allen Servern.

Da die Performance seit dem gefühlt besser bewertet wird, sowie die RAM-Auslastung effektiver abläuft, können wir die Probleme somit also gelöst bezeichnen.

Sollte es trotz der Änderungen zu Problemen kommen, bitte wir um entsprechende Benachrichtigung(en).

Um die Systemlast zu senken und somit die Webseiten schneller zu machen, haben wir den Analyse-Zeitraum der Web-Statistiken gesenkt: Die Statistiken werden somit nur noch alle zwei Stunden ausgewertet, anstatt wie bisher stündlich.

Die Auslastung in den letzten 24 Stunden wird an folgendem Graph deutlich (Legende: Load in *100, 110 entspricht also Load 1,1):

Wir hoffen, dass die Geschwindigkeit der Webseiten sich nun wieder im gewohnten Bereich bewegt.

Mit größerer Verzögerung als geplant wurden die Wartungsarbeiten auf Mars soeben abgeschlossen.

Das Rechenzentrum war mit den Umbauarbeiten der Festplatten länger beschäftigt, als geplant, auch kam es danach zu Problemen mit SSL/HTTPS.

Der Server sollte nun wieder so konfiguriert sein, wie vor dem Plattenwechsel. Sollten Sie Fehler auf der Webseite feststellen oder anderweitig etwas nicht in Ordnung sein, bitte wir um unverzügliche eMail an den Support!

Anstatt wie vorher ein Debian Sarge zu installieren, wurde wie angekündigt das Upgrade auf Etch vorgezogen. Über die genauen Neuerungen, abgesehen von PHP5.2, werden wir nach Abschluss aller Arbeiten informieren.

Sehr geehrte Kunden,

Leider wurden wir heute nach Auswertung diverser Status-Tools darauf aufmerksam, dass die Festplatte des Servers Mars, auf dem sich Ihre Webpräsenz befindet, technische Defekte aufweist und baldmöglichst getauscht werden muss.

Wir haben bereits beim Rechenzentrum den Austausch der Festplatte veranlasst, es wird dann ein ausfallsichereres RAID1 installiert.

Der Austausch wird heute Nacht ab 00:00 durchgeführt. Im Zuge dessen führen wir das angekündigte Upgrade auf Debian Etch bereits heute Nacht durch, der Termin vom Pfingstmontag, 28.05., ist somit hinfällig.

Bis der Austausch durchgeführt wird, werden die Präsenzen langsamer erreichbar sein als gewohnt, die Festplatte kann die Daten nicht schnell genug liefern, weshalb die Serverlast höher als normal liegt.

Alle Daten der Webpräsenzen sind und werden nochmals gesichert und werden nach dem Austausch 1:1 zurückgespielt.

Wir empfehlen jedoch, zusätzlich selbst via Confixx ein komplettes Backup der Daten durchzuführen!

Wir bitten, den daraus entstehenden Ausfall zu entschuldigen – im Gegensatz zum November 2006 wird es jedoch zu keinen Datenverlusten kommen.

Für Fragen steht Ihnen unser Support wie gewohnt zur Verfügung.

Mit freundlichen Grüßen,

Anton Dollmaier,
ADIT Systems

Sehr geehrte Kunden,

Im Zuge der neu veröffentlichten Version von Debian, “Etch”, führen wir ein Upgrade unserer Webhosting-Systeme auf die neue Version durch.

Leider ist das Upgrade nicht ohne Ausfall durchzuführen, weshalb es zu Störungen der Verfügbarkeit kommen wird.

Am Pfingstmontag, den 28.05.2007, werden wir Server Mars ab ca. 23:00 Uhr updaten, für Server Venus sind die Wartungsarbeiten für Dienstag, 29.05.2007, ab ca. 15:00 vorgesehen.

Nachdem bereits mehrere interne Server und Test-Systeme auf Etch umgestellt wurden und es dabei zu keinen Problemen kam, rechnen wir mit einer problemlosen Umstellung. Sicherungen werden aber für den Fall der Fälle vorgehalten.

Über weitere Details werden wir in unserem Blog unter der bekannten URL informieren:

http://blog.aditsystems.de/

Für Fragen steht Ihnen unser Support wie gewohnt zur Verfügung.

Mit freundlichen Grüßen,

Anton Dollmaier,
ADIT Systems

Am heutigen 08.April 2007 wurde der Nachfolger von Debian Sarge veröffentlicht. Die neue “stable”-Version des Debian-Projektes hört auf den Namen Etch und ist ab sofort auf CD/DVD verfügbar (vorzugsweise via BitTorrent).

Im Zuge der neuen Debian-Version werden wir ebenfalls Upgrades der Systeme durchführen, was auch für Sie als Kunden Vorteile bringen wird.

So gehört neben der neuen Apache 2.2.3-Version auch PHP 5.2.0 zu den Paketen. Der MySQL-Server ist in Version 5.0.32 verfügbar, Perl in Version 5.8.8. Das von uns eingesetzte suPHP gibt es in der neuesten Version 0.6.2.

Da es bei so großen Umstellungen immer zu Problemen kann, werden wir alle Kunden via Kundenrundschreiben über die Änderungen informieren und dann auch einen genauen Termin bekannt geben. Wir erwarten jedoch keine großen Schwierigkeiten, in den von uns genutzten Test-Umgebungen ist Etch bereits seit längerem problemlos im Einsatz, PHP5 verwenden wir bereits seit längerem auf allen Servern, was bisher nur geringfügige Änderungen nötig machte.

Ab sofort können Sie auf allen Servern die FTP-Verbindung verschlüsseln lassen und somit keine Passwörter o.ä. mehr unverschlüsselt übertragen.

Wie Sie FTPs speziell bei Ihrem FTP-Client aktivieren, erfahren Sie im jeweiligen Handbuch/Hilfe. Für den von uns empfohlenen SmartFTP finden Sie links der Adresszeile den Button “Protocol”. Dort wählen Sie den Eintrag “FTP over SSL (Explicit)” an. Im Transfer-Log in der unteren Hälfte finden Sie dann die Zeile “AUTH TLS”. Wenn diese mit “AUTH TLS successful” beantwortet wird, ist die Verbindung ab dort verschlüsselt und kann somit nicht abgehört werden.
Weitere Einstellungen am Router, der Firewall o.ä. sind nicht nötig!

Ab sofort können auf allen Servern Skripte benutzt werden, die vom Hersteller/Autor mit der Verschlüsselung ionCube encodiert wurden. Die entsprechenden Loader sind in PHP geladen und verfügbar.

Nachdem Kunden von Problemen berichteten, dass größere Uploads nach 45 Sekunden abbrechen, war die Fehlersuche mit dem verwendeten Pure-FTPd erfolglos. Um die Ursache trotzdem zu beseitigen, haben wir eine andere Software installiert:

Nun werkelt im Hintergrund der ProFTPd, der zwar in der Konfiguration etwas komplizierter ist, dafür aber mehr bietet. So können Kunden, die eine eigene IP für Ihre Präsenzen besitzen, ohne größere Probleme anonymen FTP-Zugriff auf Inhalte Ihrer Präsenzen bereitstellen. Hierfür teilen Sie unserem Support den Zielpfad sowie die Berechtigungen (wir empfehlen, Uploads zu deaktivieren) für anonymen Zugriff mit, wir werden diese dann einrichten.

Auf den Servern Venus und Mars wurde der neue Kernel 2.6.20 erfolgreich installiert – die Systeme arbeiten wieder wie gewohnt.

Bei Venus kam es gegen 12:00 Uhr zu einer kurze Unterbrechnung der Netzwerkverbindung, um den bisherigen Switch gegen ein größeres Modell auszutauschen. Das RAID-System wurde auf eventuelle Fehler überprüft, dabei wurden keine festgestellt.

Bei der wöchentlichen Untersuchung der Festplatten in allen Systemen wurden ebenfalls keine Fehler gemeldet – Ihre Daten sind also auch weiterhin sicher vor Datenausfällen.

Am gestrigen Abend kam es zu einem teilweisen Stromausfall im Rechenzentrum der IPX-Server/IP-Exchange.

Unsere Systeme waren hiervon nur indirekt betroffen: Die Server selbst arbeiteten ohne Probleme weiter, lediglich die Core-Router des Rechenzentrums waren teilweise ohne Strom, weshalb Verbindungen in das RZ teilweise gestört waren.

Im folgenden die Mitteilung des Rechenzentrums von 01:20 Uhr zu den Vorfällen:

Sehr geehrte Damen und Herren, verehrte Kunden,

heute kam es zwischen 22.10 Uhr und 22.40 Uhr zu einem partiellen
Stromausfall in unserem Rechenzentrum, von welchem mehrere Kunden
betroffen waren. 95% der betroffenen Systeme waren bis 00.30 Uhr
wieder online.

Die Ursache lag nach bisherigen Erkenntnissen an einer Störung in
der Stromversorgung unseres Energielieferanten, ausgelöst durch
“Fremkörper die aufgrund von Orkanböen in ein Umspannwerk
geflogen sind und hier einen Kurzschluss verursacht haben”.

In folge des Kurzschlusses im Umspannwerk kam es zu einer
extremen Überspannung im Stadtnetz. Vier unserer USV Anlagen
haben die Überspannungen gefiltert, eine der Anlagen hat aus
Sicherheitsgründen abgeschaltet, wodurch es zu Stromausfall bei
einigen Racks kam. Durch die automatische Notabschaltung der USV
wurde sichergestellt, dass die Überspannungen nicht bis ins
Rechenzentrum durchkamen, wodurch weitere Schäden an Ihrem
Equipment vermieden wurden.

Der Notdienst des USV Herstellers befindet sich
zwischenzeitlichauf dem Weg ins Rechenzentrum und wird die
betroffene USV Anlage überprüfen, um den Normalbetrieb wieder
sicherzustellen.

Unser Energielieferant hat uns mitgeteilt, dass es aufgrund
umherfliegender Teile in unmittelbarer Nähe des Umspannwerkes
unter Umständen nochmals zu Stromausfällen und Spannungsspitzen
kommen kann.

Wir möchten uns für die entstandenen Unannehmlichkeiten bei Ihnen
entschuldigen und versichern Ihnen, dass derzeit alles getan wird
um den Betrieb sicherzustellen.

Mit freundlichen Grüßen,

Network Operation Center
IP Exchange GmbH