Portunity Wiki:Aktuelle Ereignisse
Aus Portunity Wiki
Hinweis
In diesem Artikel veröffentlichen wir alle umfangreicheren sowie geplanten Arbeiten an Systemen die unsere Kunden direkt oder indirekt betreffen. Störungen werden hier nur veröffentlicht wenn resultierende Nacharbeiten / Wartungsfenster entstehen. Kurze / Kleine Störungen erscheinen hier nicht.
Generell Twittern wir alle Störungen und Ankündigungen über den dedizierten Twitter - Channel: http://twitter.com/pty_ops
Aktuelles
Klimatechnik Serverraum 1
Wir planen die Erweiterung der Klimatisierungstechnik in Serverraum 1 (Datacenter Wuppertal), da die aktuelle Klimaleistung nicht mehr genügt. Mit "nicht mehr genügt" ist gemeint, das wir aktuell nicht mehr Garantiert "n+1" haben, also ein 100% unabhängiges Reserve-Gerät. Da wir dies jedoch wünschen, rüsten wir auf.
- Eiliges Update 29.06.12:Am 28.06.12 (wir Twitterten) stieg die Außentemperatur so stark an, das die Reserveanlage zugeschaltet werden musste. Diese versagte jedoch ihrer Leistung (trotz wöchentlichem Test), wodurch die Temperatur im Serverraum 1 leicht Anstieg. Diverse Sofortmaßnahmen und Analysen brachten uns zu dem Schluss die Nachrüstung zu beschleunigen und ggf. Interimslösungen zu installieren.
- Es handelt sich um KEINEN kritischen Zustand. Erst ab ca. 36°C Aussentemp. steigt die Serverraumtemperatur mit an.
- Wir melden uns noch einmal vor dem Wochenende.
- Termin: Vermutlich Juli/August 2012!
- Status: Sind dran
Twitter to Mail
Da wir gelegentlich das Feedback erhalten, der Twitter Channel würde nicht reichen, eine eMail im Störungsfall wäre besser haben wir uns folgende Erweiterung überlegt: Wir senden automatisch alle Tweets per eMail an alle, die im Kunden-Center dies Feature aktiviert haben.
Der Haupt-Weg bleibt aber Twitter, da dies 100% von unserer Infrastruktur unabhängig ist. Der Mailversand kann u.U. je nach alter einer Störung unterbrochen sein. Des weiteren dauert der Mailversand auch länger, da wir nicht nur 10 Mails versenden ;)
- Termin: Noch offen. Planung sieht aktuell den Juni 2012!
- Status: IN ENTWICKLUNG - pre Alpha
Tunnel Plattform
Aktuell entwickeln wir an neuen Features für die Tunnel-Plattform ([[1]]), was genau wird noch nicht verraten :) Aber soviel schon jetzt: Es wird auch einen neuen, leistungsfähigeren Server in Frankfurt geben, welcher seit dem 06.06.2012 in Wuppertal zum Testen aufgebaut ist.
- Feature Aussicht:
- Volle IPv6 Unterstützung (sofern die Softwarehersteller dies unterstützen)
- l2tp mit und ohne IPsec
- Absenkung der Latenz um mind. 4 ms
- ggf. weitere Features....
- Termin: Noch offen. Vermutlich Juli/August 2012!
- Status: soon
KVM Backup Host
Für unsere Business V-Server sowie eigene virtuelle Server bauen wir den Backup-Mechanismus um, wodurch wir uns eine höhere Flexibilität, mehr Performance sowie schnellere Wiederherstellung im Restore-Fall erhoffen.
Dazu verwenden wir einen 3HE Supermicro Server mit 16 Bays, den wir zum Start mit nur 3 Stück 4TB Festplatten ausstatten und jederzeit mit weiteren 11 Platten erweitern können. Für den Start reichen 8 TeraByte ;)
- Termin: kein Termin erforderlich, da schleichender Prozess.
- Status: inwork
KVM Cloud Host / Node
Für unsere Business V-Server sowie eigene virtuelle Server fügen wir in unsere Cloud einen zusätzlichen Server ein.
- Termin: kein Termin erforderlich, da schleichender Prozess.
- Status: inwork
Abgeschlossenes / Archive
PTR-Störung beim RIPE-NCC (UPDATE)
Update 15:39 Uhr
Wir bekommen derzeit Meldungen von Kunden, dass die Zonen offenbar wiederhergestellt wurden.
Das RIPE NCC hat ebenfalls in einem Rundschreiben bestätigt, dass die Störung beseitigt sein soll.
https://www.ripe.net/internet-coordination/news/announcements/update-14-june-13-35-utc-reverse-dns-services-outage
Momentan liegt eine Störung betreffend der PTR-Records für bestimmte IPv4-Netze und IPv6-Präfixe vor:
http://www.portunity.de/s/3l
Wir haben festgestellt dass - obwohl nicht explizit aufgeführt - auch Teile des Netzes 213.0.0.0/8 nicht mehr korrekt aufgelöst werden können.
Das RIPE verwaltet die IP-Adressen im europäischen Raum und hat daher auf seinen eigenen DNS-Servern NS-Records für die einzelnen IP-Blöcke hinterlegt, die dann zu den jeweiligen Providern (z.B. zu uns) führen. Offenbar ist dort bei einem Update oder Wartungsarbeiten die DNS-Zone kaputt gegangen, man ist seit gestern Abend dran diese wiederherzustellen. Momentan bekommen wir die Anfragen für die betroffenen IP-Adressen garnicht mehr weitergeleitet, weil der entsprechende Eintrag auf den DNS-Servern des RIPE fehlt und wir diesen derzeit auch nicht mehr erzeugen können.
Da wir auf dieses Problem leider keinen Einfluss haben kann ich Ihnen leider auch keinen ungefähren Zeitrahmen nennen, wie lange die Wiederherstellung der Zone dauert.
Wir empfehlen während dieser Zeit auf Mailservern/Spamfiltern auf die Prüfung der Konsistenz von A/AAAA-Record und PTR zu verzichten oder zumindest nur aus diesem Grund keine Mails mehr abzulehnen.
Diese IPv4-Netze von uns sind derzeit zumindest teilweise davon betroffen
- 212.60.128.0/19
- 213.240.176.0/20
Neue Telefonanlage
Wir planen die Erneuerung unserer Telefonanlage. Zum einen schaffen wir damit die ISDN - Technik ab und zum Anderen stellen wir auf Asterisk 1.8 um.
- Betroffen sein kann:
- Sämtliche Anrufe auf der 0202 / 69555xxx
- Notrufe für Kunden mit VIP - SLA Vertrag
- Fax Empfang
- ENUM Validierungsanrufe
- Neukundenanmeldungen mit Rückruf-Validierung
Wir rechnen jedoch nur mit einer kurzzeitigen Unterbrechung der Erreichbarkeit und nicht mit einer längerfristigen Umstellung.
- Termin: 12.06.2012 !
- Status: ABGESCHLOSSEN
Tausch der USV (UPS) Akkus
- Aus Sicherheitsgründen und damit wir die gewohnte Stabilität von über 99,7% halten können tauschen wir nun alle fälligen USV-Akkus pauschal aus.
- Da mit keinen Unterbrechungen der Stromzufuhr zu rechnen ist, nehmen wir den Tausch jeweils tagsüber vor (dann sind wir auch über eine längere Zeit zwecks Beobachtung noch vor Ort) und informieren nicht jeden betroffenen Kunden einzeln.
- Start: 19.04.2012
- Ende: 15.05.2012
09.05.2012 Abschaltung alte IP-Adresse 81.92.15.34 - Resolver DNS Server 1
Seit ca. 2 Jahren haben alle unsere DNS Server neue IP-Adressen erhalten. Leider haben noch nicht alle Kunden dies umgestellt, weshalb wir hier nun erneut eine Rundnachricht versenden und einen dreiwöchigen Aufschub eingerichtet haben.
Für ein sauberes IPv6 Routing in unserem Rechenzentrum ist die Abschaltung solcher alten IP-Adressen leider unerlässlich. Es handelt sich um eine technisch notwendige Änderung.
- Status: WICHTIGE ANKÜNDIGUNG
- Endgültige Abschaltung der IP-Adresse am 09.05.2012
- Status: OFFLINE
26.04.2012 Durchstarten 92.Speeddrive
- Wir müssen das Gateway 92.Speeddrive morgen mal eben durchstarten.
- Der Dienst steht für ca. 5min, nicht zur Verfügung.
- Start: 26.04.2012
- Ende: nach ca. 5min. -> 26.04.2012 ca. 09:14 Uhr
- Status: ABGESCHLOSSEN
Störung: Monitoring - System - 19.04.2012
- Die neue Festplatte hat das System soeben wieder "vor die Wand gesetzt".
- siehe Meldung: http://www.portunity.de/wiki/Portunity_Wiki:Aktuelle_Ereignisse#St.C3.B6rung:_Monitoring_-_System_-_16.04.2012
- Weiterführende Maßnahmen: Wir werden morgen früh 20.04.2012 den Haupt-Server umbauen. Die vorhandenen Festplatten sind nicht schnell genug und werden durch 6 Festplatten ersetzt.
- Die Überwachung wird morgen früh ab ca. 8 Uhr nicht zur Verfügung stehen.
- Status: ABGESCHLOSSEN
- Freitag 12:20 Uhr: Die neuen 6 Festplatten wurden verbaut und werden nun eingerichtet und mit dem Betriebssystem / Daten / Programmen versehen. Dies geschieht weitestgehend im Betrieb...
- Der Server ist nun mit dne zusätzlichen Festplatten super schnell und startet auch komplett in ca. 30 Sekunden durch.
24.04.2012: Tausch ns1.portunity.de - Auth. DNS Server 1
Unser autoritativer DNS Server 1 in Wuppertal hatte vor einigen Wochen ja einen Ausfall und musste kalt gestartet werden (wir Informierten via Twitter). Dies veranlasste uns einen neuen Server kaufen und damit den alten Server zu ersetzen. Dies wollen wir wir nun durchführen.
- Die Arbeiten werden tagsüber vorgenommen
- Einschränkung: Keine Domain Registrierungen oder Updates
- Abschaltung der alten IP-Adresse: 81.92.15.33
- Dauer der Umstellung: ca. 1 - 2 Stunden
- Start: geplant ist 24.04.2012 ca. 10 Uhr
- Ende: 24.04.2012 11:30 Uhr
- Status: ABGESCHLOSSEN
Umstellung: IPv6 Umstellung - Dienstag 17.04.2012
Umbau des IPv6 Routings im Rechenzentrum Wuppertal.
- Betroffen: Nur unsere IPv6 Dienste in Wuppertal: DNS Server, Mailserver.
- Status: √ ABGESCHLOSSEN
Störung: Monitoring - System - 16.04.2012
- Durch den Ausfall einer im RAID befindlichen SATA Platte, wird das System im Laufe des Tages herunter gefahren und die defekte Festplatte durch eine Neue ersetzt. Das System / die Überwachung steht dann nur eingeschränkt zur Verfügung.
- Die defekte Festplatte wurde ersetzt und nun synchronisiert sich das RAID neu.... Es kann während dieser Phase zu Fehlalarmen kommen.
- Status: √ ABGESCHLOSSEN
- Weiterführende Maßnahmen: Wir werden den Monitorserver mittelfristig auf 2 Server aufteilen. Der Hauptserver übernimmt die Watchdogs und der PINGs und der 2. Server das Monitoring: Stromerfassung, Auslastungsmessung der Systeme etc...
Sicherheitslücke: Mittwoch 11.04.2012
Schwere Sicherheitslücke im Linux Samba-Dienst entdeckt.
Wir informierten die betroffenen Speeddrive Kunden per E-Mail, das der SMB - Dienst zur Zeit nur noch durch einen VPN-Tunnel zu erreichen ist.
- Wir planen am Montag den 16.04.2012 die Aktualisierung des Servers sowie das einspielen des entsprechenden Patches. Der Dienst wird in der Zeit zwischen 9:00 Uhr bis "offen" nicht erreichbar sein.
- Alle Arbeiten wurden um 13:15 Uhr erfolgreich abgeschlossen. Das System ist nun mit allen verfügbaren und vor allem den SAMBA-Dienst betreffenden Patches ausgestattet. Nun ist SAMBA (Die Windows - Freigabe) wieder ohne VPN Tunnel nutzbar.
- Status: √ ABGESCHLOSSEN 16.04.2012