ADIT Systems-Blog » Mars

Wartungsarbeiten an den Webhosting-Systemen am 15.04.2010

Anton Dollmaier — Tue, 13 Apr 2010 12:58:26 +0000

am Donnerstag, den 15.04.2010 werden wir Erweiterungsarbeiten an unseren Stellplätzen im Rechenzentrum in Nürnberg vornehmen. Dies geschieht, um Ihnen auch weiterhin hochwertige Dienste bereitstellen und eine ausgezeichnete Verfügbarkeit garantieren zu können.

Im Zuge dieser Erweiterung werden die folgenden drei Server an einen neuen Stellplatz verbracht werden:

venus.a1a-server.de (alle Webhosting-Accounts mit Prefix “web”)
mars.a1a-server.de (alle Webhosting-Accounts mit Prefix “mars”)
terra.a1a-server.de (kunden.aditsystems.de mit allen Diensten)

Während des Umzuges wird es zu Einschränkungen der Erreichbarkeit von ca. 15min pro Server kommen. Betroffen sind dabei u.a. folgende Dienste:

Webseiten
Datenbanken
E-Mail-Dienste

Wir bitten, diese Unannehmlichkeiten zu entschuldigen. Da wir jedoch auf diesem Wege unsere Dienstleistungen für Sie weiter verbessern können, hoffen wir auf Ihr Verständnis.

Über den aktuellen Status unserer Server können Sie sich immer auf folgender Webseite informieren:

http://serverstatus.aditsystems.de/

Wir bitten um Verständnis und verbleiben

Mit freundlichen Grüßen,

Ihr Team von ADIT Systems

[Update 00:30 Uhr: Die Arbeiten wurden erfolgreich abgeschlossen, die Systeme stehen wieder wie gewohnt zur Verfügung.]

Hacking-Angriff auf Server mars [letztes Update: 11:39 Uhr]

Anton Dollmaier — Sun, 24 Jan 2010 18:07:08 +0000

Einer unserer Hosting-Server mars ist derzeit auf Grund eines Hacking-Angriffes offline, wir arbeiten daran, den Dienst schnellstmöglich wieder aufzunehmen. Weitere Informationen finden Sie zukünftig in diesem Blog-Post.

Genaue Ursachen über Ursache oder Angriffsvektor sind noch nicht bekannt.

19:17 Uhr: Anstatt das bestehende System neu zu installieren, ziehen wir alle Kundenseiten auf einen neuen Server um. Diese Maßnahme sollte zwar eigentlich nachts stattfinden, durch die Komprimitierung des Servers ziehen wir dies vor.

20:51 Uhr: Der Transfer der Webseiten auf das neue System ist abgeschlossen, alle Datenbanken wurde ebenfalls wieder eingespielt. Da der Angreifer aber alle Index-Dateien sowie Bilder ausgetauscht hat, läuft aktuell die Wiederherstellung der Kunden-Webseiten aus dem Backup. Durch den Server-Wechsel haben alle Webseiten auf dem Server “mars” eine neue IP-Adresse erhalten. Bei einem “ping” auf die Domain muss eine IP angezeigt werden, die mit “62.146.15.” beginnt. Weitere Informationen zu “ping” finden Sie in unserem Wiki.

21:12 Uhr: Das Mailsystem ist wieder online, FTP-Zugriff ebenfalls. Die Wiederherstellung der Webseiten aus dem Backup dauert derzeit noch an.

01:10 Uhr: Auf Grund von Problemen an der BackupPC-Software müssen alle vom Hack betroffenen Webs einzeln zurückgespielt werden – was nicht automatisiert möglich ist. Die Störung der Webseiten dauert also noch an.

02:53 Uhr: Die Wiederherstellung der Kunden-Webseiten ist abgeschlossen, in Kürze erhalten alle betroffenen Kunden einen Newsletter mit weiteren Informationen.

03:55 Uhr: ns2.as-dns.de ist wieder online, Rundmail wurde verschickt. Gleichzeitig die Sicherheit auf mars/venus punktuell erhöht – weitere Maßnahmen sind erst nach Einsicht in die (nur geringfügig) vorhandenen Log-Dateien möglich.

11:39 Uhr: der Weg des Angreifers ist nun nachvollzogen:

Upload einer PHP-Shell via FTP, das Passwort des Kunden-Accounts wurde vermutlich extern ausgespäht: der Kunde wurde inzwischen gesperrt
Verwenden eines Kernel-Exploits, um die Rechte des System-Accounts “root” zu erlangen: leider ermöglichte der eingesetzte Kernel den Exploit und war nicht dagegen geschützt
Ausführen eines “Defacement”-Skriptes, um die ebenfalls hochgeladene index.html auf alle Accounts zu übertragen: dies geht soweit, dass die Partition, die die Dovecot-Indizes zur Performance-Steigerung enthält, ebenfalls überschrieben wurde
Löschen aller auffindbaren Log-Files und Rückschlüsse auf den Angreifer

Da wir jedoch zusätzliche Logs führen, die speziell geschützt sind, sowie das Skript des Angreifers nur Log-Dateien in einem bestimmten Schema gelöscht hat, konnten wir den Weg wie oben beschrieben einigermaßen nachvollziehen. Der Angreifer hat dabei eine IP-Adresse eines türkischen DSL-Anbieters verwendet, wodurch Strafanzeige o.ä. unsinnig ist – der Täter kann niemals ermittelt werden.

Umbau USV-Anlage

Anton Dollmaier — Fri, 05 Dec 2008 14:30:50 +0000

leider müssen wir Ihnen Wartungsarbeiten für den Server Mars, auf dem sich Ihre Webseite befindet, ankündigen.

Das Rechenzentrum, in dem sich der Server befindet, führt ein Upgrade der USV-Anlage durch. Diese Arbeiten können nicht wie ursprünglich geplant ohne Unterbrechung der Stromversorgung durchgeführt werden, weshalb die Server nun kontrolliert ausgeschalten werden.

Durch diese Maßnahme kommt es zu einem Ausfall von ca. 30 Minuten an folgendem Termin:

Montag, 08.12.2008, ab 08:00 Uhr

Ab diesem Zeitpunkt ist die Nutzung der Webseiten bzw. eMail-Accounts nicht möglich.

Den aktuellen Status unserer Server können Sie über folgende URL immer einsehen, dort finden Sie dann auch weitere Mitteilungen, falls notwendig:

http://serverstatus.aditsystems.de/

Für weitere Fragen stehen wir per eMail und Telefon zu den bekannten Zeiten zur Verfügung.

Angriff auf Kundenwebseite (Server Mars)

Anton Dollmaier — Sun, 03 Aug 2008 12:47:56 +0000

Zwischen 13:55 und 14:30 Uhr war eine Webseite eines Kunden auf dem Server Mars Ziel einer DDoS-Attacke: von mehr als 65 unterschiedlichen IP-Adressen wurde die Präsenz mit mehr als 22.500 Anfragen binnen 5 Minuten zugeworfen. Durch das von uns eingesetzte suPHP kam es zu einer Auslastung des gesamten Servers, wodurch auch andere Präsenzen in Mitleidenschaft gezogen wurden.

Wir haben die IP-Adressen, die laut Zugriffslogs für den Angriff verantwortlich waren, direkt im Paketfilter aussortiert, der Webserver muss die Anfragen somit nicht mehr verarbeiten, die Serverlast ist inzwischen wieder auf normales Niveau zurückgegangen.

Während der Angriffe wurden wir nach der Ursache der aktuellen Störung gefragt, somit nochmals ein Hinweis auf unseren Serverstatus: dieser ist direkt an unser Monitoring-System gekoppelt, aktuell auftretende Störungen somit sofort ersichtlich.

Persönliche Anmerkung: Man merkt den Zusammenhang, zwischen “Schulferien” und “Serverangriffe” mehr als deutlich …

Hardwareupgrade auf Server Mars [Update]

Anton Dollmaier — Tue, 22 Jul 2008 16:31:38 +0000

Sehr geehrte Kunden,

Um die Performance auf dem Server Mars wieder zu verbessern (durch diverse Kundenprojekte wurde die Leistung teilweise erheblich verschlechtert), lassen wir heute Nacht ein Hardwareupgrade durchführen.

Im Zuge dieser Arbeiten kann es zwischen 01:00 und 07:00 Uhr (ein genauerer Termin war nicht möglich) zu Störungen kommen, bis die Umbauarbeiten an Mainboard, CPU und Arbeitsspeicher abgeschlossen sind.

Bitte haben Sie Verständnis für die Störung, aber nur so können wir die von uns gewohnte Qualität des Webhostings sicher stellen.

Bei Fragen wenden Sie sich an unseren Support.

[Update: das Server-Upgrade wurde erfolgreich abgeschlossen, die neue Performance steht voll zur Verfügung. Der Umbau war nach knapp einer Stunde erfolgreich beendet, an dieser Stelle ein Dank an das Rechenzentrum, das nicht nur die Hardware umgebaut hat, sondern auch gleich noch den korrekten Kernel gebootet sowie Fehler, die durch die geänderte Netzwerkkarte entstehen, beseitigt hat!]

RAID-Defekt Mars

Anton Dollmaier — Tue, 20 May 2008 22:47:13 +0000

(21.05.2008, 00:47) Nachdem Mitte April Venus bereits Defekte am RAID aufwies, hat es nun den Server Mars erwischt:

Das Monitoring-System meldete gestern Nacht bereits ein Problem am RAID-System, dieses konnte jedoch vorübergehend behoben werden.

Gegen 00:07 wurde nun das gleiche Problem erneut gemeldet (die Festplatte an Port 0 hat sich aus dem RAID-Verbund gelöst), worauf wir das Rechenzentrum mit dem Austausch der Festplatte beauftragt haben.

Leider verfügt der Server Mars nicht über die HotSwap-Technologie, wie es bei Venus der Fall ist, wodurch der Server derzeit für die Dauer des Austauschs offline ist.

Wir werden informieren, wenn die Störung behoben wurde.

(21.05.2008, 14:55) Das Rechenzentrum hat über Nacht die Festplatte im Server ausgetauscht, Mars ist seit 05:10 Uhr wieder online. Die Einbindung der neuen Festplatte in den RAID-Verbund war gegen 07:46 Uhr abgeschlossen, der Server läuft nun wieder im optimalen Zustand.

Umstrukturierungen Web-Applikationen

Anton Dollmaier — Fri, 07 Mar 2008 18:16:27 +0000

Für bevorstehende, neue Funktionen haben wir heute Umstrukturierungen der von uns bereit gestellten Anwendungen vorgenommen.

Konkret wurden alle Anwendungen, die bisher zentral vorgehalten wurden, auf jeden Webhosting-Server selbst verschoben: Unter der bisher zentralen URL finden Sie nun eine Auswahlmöglichkeit, die Sie auf die entsprechenden Zielserver umleitet.

Je Server finden Sie nun folgende Anwendungen:

Durch die dezentralen Anwendungen öffnen sich neue Möglichkeiten und Funktionen, die zentral nicht möglich wären.

Genauere Informationen finden Sie hier in Kürze, wenn die Änderungen an den Anwendungen abgeschlossen wurden.

Datenbank-Berechtigungen korrigiert

Anton Dollmaier — Wed, 27 Feb 2008 18:09:58 +0000

Nachdem in der Vergangenheit wiederholt Beschwerden auftraten, dass MySQL-Berechtigungen nicht gesetzt waren, die von einer Applikation gefordert wurden, haben wir nun die Ursache für das Problem lokalisiert.

Die bemängelten Berechtigungen waren neue, die erst seit MySQL 4.1 bzw. 5.0 verfügbar sind – Konkret LOCK-Tables, Create_View u.a..

Confixx speichert intern, welche Permissions für neue Benutzer bzw. Datenbanken per Default gesetzt werden – diese Vorlagen waren noch nicht für MySQL größer 4.1 ausgelegt.

Wir haben die Anpassungen vorgenommen und auf allen Systemen verfügbar gemacht – neue Datenbanken erhalten nun automatisch die korrekten Berechtigungen. Sollte für eine bestehende Datenbank ein Recht fehlen, setzen Sie sich bitte mit uns in Verbindung.

Netzwerkstörung 13.02.2008, ca. 17:00 Uhr

Anton Dollmaier — Wed, 13 Feb 2008 20:37:51 +0000

Am heutigen Mittwoch, 13.02.2008, kam es zwischen 16:45 und 17:15 Uhr zu einer gestörten Erreichbarkeit der Server im Rechenzentrum der IPX-Server:

Auf Grund eines Problems bei einem anderen Provider kam es zu Kommunikationsproblemen am AMS-IX und DECIX, sowie einem gestörten Routing in ganz Deutschland, wodurch die Daten nicht mehr da ankamen, wo sie hinsollten.

Das Problem ist inzwischen wieder behoben – alle Dienste sollten wieder wie gewohnt erreichbar sein.

Kernel-Upgrades der Webhosting-Systeme

Anton Dollmaier — Mon, 11 Feb 2008 19:16:52 +0000

Nachdem am gestrigen Sonntag eine Sicherheitslücke im Linux-Kernel gefunden wurde, sind wir gezwungen, unsere Systeme ebenfalls mit der neuen, fehlerbereinigten Version auszustatten.

Aus diesem Grund werden wir am morgigen Dienstag, 12.02.2008, nach 17:00, unsere Systeme für kurze Wartungsarbeiten neu starten. Konkret betroffen sind folgende Server von ADIT Systems:

Venus
Mars
Terra

Weitere Informationen finden Sie auf dem Artikel von heise.de.

Kurzzeitige Dienst-Störung

Anton Dollmaier — Sun, 09 Dec 2007 22:45:47 +0000

Am gestrigen Samstag, 08.12.2007, kam es zu einer Störung des SMTP-Maildienstes auf dem Server Mars. Grund hierfür war ein Skript eines Kunden, welches von Dritten unerlaubt missbraucht wurde, um im großen Stil Spam-eMails über unseren Server zu versenden. In Folge dessen wurde das Mailsystem überlastet, die regulären eMails wurden stark verzögert bearbeitet.
Der Kunde hat das Skript nach Aufforderung entfernt, die noch nicht ausgelieferten Spam-eMails wurden aus der Queue entfernt.
Leider sind die weiteren Folgen noch nicht vollständig bekannt: AOL hat gestern kurzzeitig die Annahme von eMails verweigert, inzwischen scheint der Mailverkehr wieder störungsfrei zu laufen. Wir werden die Angelegenheit jedoch beobachten und bei Problemen Kontakt zu AOL aufnehmen.

Als Konsequenz zu den Problemen haben wir das Monitoring-System ergänzt, welches nun ebenfalls die Anzahl der Mails, die in der Mailqueue auf Auslieferung warten, überwacht.

Am heutigen Sonntag kam es dann zu einer Störung des Webservers auf dem Webhostingsystem Venus: Durch einen offenbar gezielten Angriff einer Kundenwebseite mussten wir den Webserver kurzzeitig beenden, um das System vor dem Kollaps zu schützen. Der Angreifer konnte aus den Log-Dateien identifiziert und vom System blockiert werden.

Die Dauer der Störung hat 5 Minuten nicht überschritten, weitere Probleme sind nicht zu erwarten.

Kurzfristige Wartungsarbeiten

Anton Dollmaier — Fri, 05 Oct 2007 22:59:02 +0000

Nachdem das Monitoring uns über fehlenden Festplattenplatz auf dem Server Mars informierte, haben wir kurzfristige Wartungsarbeiten angesetzt und dabei die Partition mit den Webseiten vergrößert, so dass nun genügend Speicherplatz vorgehalten wird.

Eigentlich sollten solche Arbeiten im laufenden Betrieb möglich sein, aus unbekannten Gründen war dies nicht möglich. Der Server wurde somit im Rescue-System neu gebootet, die Wartungsarbeiten durchgeführt und anschließend wieder in den Produktivbetrieb gestartet. Die Dauer der Arbeiten hat 20 Minuten nicht überschritten.

Umstrukturierungen erfolgreich abgeschlossen

Anton Dollmaier — Sun, 23 Sep 2007 11:55:21 +0000

Mit der Umstellung aller internen Systeme sind wir nun unabhängig von den Webhosting-Systemen erreichbar.

Ausgelagert sind konkret folgende Anwendungen:

Das Monitoring-System wird in Kürze ebenfalls noch umgestellt. Da sich hierfür die URL der API ändert, werden wir dies noch gesondert angeben.

Bitte beachten Sie auch, dass mit der Umstrukturierung nur noch die von uns geltenden Adressen für die Dienste gültig sind! Eine Übersicht finden Sie auf folgender Seite im Wiki:

http://wiki.aditsystems.de/allgemein/server

Bei Problemen oder sonstigen Fragen steht Ihnen unser Support wie gewohnt zur Verfügung.

Interne Umstrukturierung

Anton Dollmaier — Tue, 11 Sep 2007 14:02:33 +0000

Um auch bei eventuellen Serverausfällen erreichbar zu sein, kommt es derzeit zu Störungen der von uns angebotenen zusätzlichen Anwendungen (PHPMyAdmin, RoundCube, …).

Wir ziehen diese komplett auf ein eigenes System um, das unabhängig von anderen Webhosting-Servern bereit steht.

Auftretende Fehlermeldungen bitten wir zu entschuldigen, wir arbeiten daran.

Störung Mars

Anton Dollmaier — Mon, 27 Aug 2007 18:28:34 +0000

Auf dem Server Mars kam es seit gestern abend zu “unerklärlichen” Störungen. Nach dem Hinweis eines Kunden auf “No space left on device” war die Ursache jedoch schnell klar:

Die Partition mit den Dateien (“/var/www”) war vollgelaufen, da ein Kunde das Quota deutlich überschritten hatte.

Unser Monitoringsystem ist zwar konfiguriert, den freien Festplattenspeicher zu überwachen und im Bedarfsfall auch Mitarbeiter zu benachrichtigen. Da jedoch dies eine andere Partition als die überwachte war, kam es zu keiner Auslösung eines Alarms, das Problem blieb unbemerkt.

Wir haben nun das Monitoring-System erweitert, dass alle relevanten Partitionen ebenfalls überwacht werden.

Die Unannehmlichkeiten bitten wir zu entschuldigen und verbleiben

Mit freundlichen Grüßen,

ADIT Systems