Portunity Wiki:Aktuelle Ereignisse
Aus Portunity Wiki
Hinweis
In diesem Artikel veröffentlichen wir alle umfangreicheren sowie geplanten Arbeiten an Systemen die unsere Kunden direkt oder indirekt betreffen. Störungen werden hier nur veröffentlicht wenn resultierende Nacharbeiten / Wartungsfenster entstehen. Kurze / Kleine Störungen erscheinen hier nicht.
Generell Twittern wir alle Störungen und Ankündigungen über den dedizierten Twitter - Channel: http://twitter.com/pty_ops
Aktuelles
Technik - Forschungswoche
Unsere Techniker werden vom 06.08.12 - 10.08.12 eine Forschungswoche einschieben, um einige Projekte massiv voran zu bringen oder gar abzuschließen. Aus diesem Grund sind wir nicht ganz so gut direkt erreichbar. Wir sind natürlich da und kümmern uns um Ihre Anrufe, eMails sowie Tickets. Nur bei Techniker-Arbeiten kann es schon mal zu kleinen Verzögerungen kommen. -> Ausnahme natürlich Störungen: Ist Ihr Server bei uns oder gar unsere Infrastruktur gestört, sind wir natürlich sofort am Start :)
Wir bedanken uns für Ihr Verständnis und freuen uns schon auf die Herausforderungen.
Twitter to Mail
Da wir gelegentlich das Feedback erhalten, der Twitter Channel würde nicht reichen, eine eMail im Störungsfall wäre besser haben wir uns folgende Erweiterung überlegt: Wir senden automatisch alle Tweets per eMail an alle, die im Kunden-Center dies Feature aktiviert haben.
Der Haupt-Weg bleibt aber Twitter, da dies 100% von unserer Infrastruktur unabhängig ist. Der Mailversand kann u.U. je nach alter einer Störung unterbrochen sein. Des weiteren dauert der Mailversand auch länger, da wir nicht nur 10 Mails versenden ;)
- Status: BETA online
Neue DNS - Server in Frankfurt
Die DNS Server in Frankfurt (Caching und Autoritativ) laufen zwar sehr gut, jedoch hat die eine oder andere Festplatte S.M.A.R.T. Warnungen und bevor dies zu Ausfällen führt, tauschen wir die Festplatten durch. Wir werden im gleichen Zug aber auch ein neues OS installieren, damit wir dann auch wieder "Ruhe haben" :)
Die betroffenen Server stehen für den Umbau nicht zur Verfügung, die Primärsysteme in Wuppertal laufen jedoch weiter.
- Betroffen: ns2.portunity.de & ns-cache2.portunity.de (217.144.128.34)
- Status: in Umsetzung
- Termin Umschaltung: Zusammen mit KVM - Host - FFM
Neuer Mail Relay Server
Es wird einen neuen smtp-relay.portunity.de Server geben, damit wir auch hier die neuen IPv4-Adressen aber auch IPv6 Adressen nutzen. Die alte IP-Adresse: 81.92.15.39 wird voraussichtlich zum 03.09.2012 abgeschaltet. Sollte dies zu knapp bemessen sein, so bitte bei uns im Support melden. Danke
- Status: in Umsetzung
- Termin Umschaltung: Noch offen, geschieht aber leise. Alter Server bleibt noch bestehen.
- Termin Abschaltung: Der alte Server wird am 03.09.2012 abgeschaltet.
Neuer Mail Backup 1 Server
Es wird ebenso einen neuen smtp-backup1.portunity.de Server geben, damit wir auch hier die neuen IPv4-Adressen aber auch IPv6 Adressen nutzen. Die alte IP-Adresse: 81.92.15.40 wird voraussichtlich zum 03.09.2012 abgeschaltet. Sollte dies zu knapp bemessen sein, so bitte bei uns im Support melden. Danke
- Status: in Umsetzung
- Termin Umschaltung: Noch offen, geschieht aber leise. Alter Server bleibt noch bestehen.
- Termin Abschaltung: Der alte Server wird am 03.09.2012 abgeschaltet.
VPN-Tunnel Plattform
Aktuell entwickeln wir an neuen Features für die ([Tunnel-Plattform]), was genau wird noch nicht verraten :)
Der neue Server kommt nun nach Wuppertal und nicht mehr nach Frankfurt, da wir hier eine bessere Verfügbarkeit als die CoLos in FFM haben und wir einfach "näher dran sind".
Es wird sich dadurch jedoch die Basis-IP-Adresse des Servers ändern. Bei Nutzung des Hostnames "pptp.ffm.portunity.de" muss jedoch nichts geändert werden.
- Kleine Feature Aussicht:
- Volle IPv6 Unterstützung (sofern die Softwarehersteller dies unterstützen)
- l2tp mit und ohne IPsec
- Absenkung der Latenz um mind. 4 ms
- ggf. weitere Features....
- Termin: Noch offen. Vermutlich August/September 2012!
- Status: soon
KVM Backup Host
Für unsere Business V-Server sowie eigene virtuelle Server bauen wir den Backup-Mechanismus um, wodurch wir uns eine höhere Flexibilität, mehr Performance sowie schnellere Wiederherstellung im Restore-Fall erhoffen.
Dazu verwenden wir einen 3HE Supermicro Server mit 16 Bays, den wir zum Start mit nur 3 Stück 4TB Festplatten ausstatten und jederzeit mit weiteren 11 Platten erweitern können. Für den Start reichen 8 TeraByte ;)
- Termin: kein Termin erforderlich, da schleichender Prozess.
- Status: Ist im Testbetrieb :=)
KVM Host - FFM
Für unsere CoLo in Frankfurt spendieren wir einen neuen V-Server-Host auf KVM Basis, damit wir einige neue, eigene Projekte realisieren können.
- Termin: August/September 2012.
- Status: Server bereits in Wtal im Testbetrieb :=)
KVM Cloud Host / Node
Für unsere Business V-Server sowie eigene virtuelle Server fügen wir in unsere Cloud einen zusätzlichen Server ein.
- Termin: kein Termin erforderlich, da schleichender Prozess.
- Status: Eingehostet, warte auf Ihren Business Server ;)
Abgeschlossenes / Archive
Anbindungsprobleme 01.08.2012
Status: 01.08.2012 - Zwischen ca. 12:50 und 13:00 Uhr gab es offensichtlich eine globale Netzstörung, wodurch nicht nur unsere Standorte betroffen / nicht erreichbar waren, sondern auch andere namhafte Provider.
Es sind einige Leitungen der DTAG ausgefallen, was zu einer Überlastung der Netze geführt hat. Vielleicht der berühmte Bagger ;)
Klimatechnik Serverraum 1
Wir planen die Erweiterung der Klimatisierungstechnik in Serverraum 1 (Datacenter Wuppertal), da die aktuelle Klimaleistung nicht mehr genügt. Mit "nicht mehr genügt" ist gemeint, das wir aktuell nicht mehr Garantiert "n+1" haben, also ein 100% unabhängiges Reserve-Gerät. Da wir dies jedoch wünschen, rüsten wir auf.
- Eiliges Update 29.06.12:Am 28.06.12 (wir Twitterten) stieg die Außentemperatur so stark an, das die Reserveanlage zugeschaltet werden musste. Diese versagte jedoch ihrer Leistung (trotz wöchentlichem Test), wodurch die Temperatur im Serverraum 1 leicht Anstieg. Diverse Sofortmaßnahmen und Analysen brachten uns zu dem Schluss die Nachrüstung zu beschleunigen und ggf. Interimslösungen zu installieren.
- Es handelt sich um KEINEN kritischen Zustand. Erst ab ca. 36°C Aussentemp. steigt die Serverraumtemperatur mit an.
- Die neuen Anlage(n) sind bestellt und werden Donnerstag in Betrieb genommen.
- Status 04.07.12: Die beiden neuen Geräte wurden durch uns vorinstalliert.
- Termin 05.07.12: Fertig Wir haben heute erfolgreich 10kW mehr Kühlleistung in Serverraum 1 in Betrieb genommen. Damit haben wir "jetzt" n+2 -> Also 2 Reserve-Anlagen
PTR-Störung beim RIPE-NCC (UPDATE)
Update 15:39 Uhr
Wir bekommen derzeit Meldungen von Kunden, dass die Zonen offenbar wiederhergestellt wurden.
Das RIPE NCC hat ebenfalls in einem Rundschreiben bestätigt, dass die Störung beseitigt sein soll.
https://www.ripe.net/internet-coordination/news/announcements/update-14-june-13-35-utc-reverse-dns-services-outage
Momentan liegt eine Störung betreffend der PTR-Records für bestimmte IPv4-Netze und IPv6-Präfixe vor:
http://www.portunity.de/s/3l
Wir haben festgestellt dass - obwohl nicht explizit aufgeführt - auch Teile des Netzes 213.0.0.0/8 nicht mehr korrekt aufgelöst werden können.
Das RIPE verwaltet die IP-Adressen im europäischen Raum und hat daher auf seinen eigenen DNS-Servern NS-Records für die einzelnen IP-Blöcke hinterlegt, die dann zu den jeweiligen Providern (z.B. zu uns) führen. Offenbar ist dort bei einem Update oder Wartungsarbeiten die DNS-Zone kaputt gegangen, man ist seit gestern Abend dran diese wiederherzustellen. Momentan bekommen wir die Anfragen für die betroffenen IP-Adressen garnicht mehr weitergeleitet, weil der entsprechende Eintrag auf den DNS-Servern des RIPE fehlt und wir diesen derzeit auch nicht mehr erzeugen können.
Da wir auf dieses Problem leider keinen Einfluss haben kann ich Ihnen leider auch keinen ungefähren Zeitrahmen nennen, wie lange die Wiederherstellung der Zone dauert.
Wir empfehlen während dieser Zeit auf Mailservern/Spamfiltern auf die Prüfung der Konsistenz von A/AAAA-Record und PTR zu verzichten oder zumindest nur aus diesem Grund keine Mails mehr abzulehnen.
Diese IPv4-Netze von uns sind derzeit zumindest teilweise davon betroffen
- 212.60.128.0/19
- 213.240.176.0/20
Neue Telefonanlage
Wir planen die Erneuerung unserer Telefonanlage. Zum einen schaffen wir damit die ISDN - Technik ab und zum Anderen stellen wir auf Asterisk 1.8 um.
- Betroffen sein kann:
- Sämtliche Anrufe auf der 0202 / 69555xxx
- Notrufe für Kunden mit VIP - SLA Vertrag
- Fax Empfang
- ENUM Validierungsanrufe
- Neukundenanmeldungen mit Rückruf-Validierung
Wir rechnen jedoch nur mit einer kurzzeitigen Unterbrechung der Erreichbarkeit und nicht mit einer längerfristigen Umstellung.
- Termin: 12.06.2012 !
- Status: ABGESCHLOSSEN
Tausch der USV (UPS) Akkus
- Aus Sicherheitsgründen und damit wir die gewohnte Stabilität von über 99,7% halten können tauschen wir nun alle fälligen USV-Akkus pauschal aus.
- Da mit keinen Unterbrechungen der Stromzufuhr zu rechnen ist, nehmen wir den Tausch jeweils tagsüber vor (dann sind wir auch über eine längere Zeit zwecks Beobachtung noch vor Ort) und informieren nicht jeden betroffenen Kunden einzeln.
- Start: 19.04.2012
- Ende: 15.05.2012
09.05.2012 Abschaltung alte IP-Adresse 81.92.15.34 - Resolver DNS Server 1
Seit ca. 2 Jahren haben alle unsere DNS Server neue IP-Adressen erhalten. Leider haben noch nicht alle Kunden dies umgestellt, weshalb wir hier nun erneut eine Rundnachricht versenden und einen dreiwöchigen Aufschub eingerichtet haben.
Für ein sauberes IPv6 Routing in unserem Rechenzentrum ist die Abschaltung solcher alten IP-Adressen leider unerlässlich. Es handelt sich um eine technisch notwendige Änderung.
- Status: WICHTIGE ANKÜNDIGUNG
- Endgültige Abschaltung der IP-Adresse am 09.05.2012
- Status: OFFLINE
26.04.2012 Durchstarten 92.Speeddrive
- Wir müssen das Gateway 92.Speeddrive morgen mal eben durchstarten.
- Der Dienst steht für ca. 5min, nicht zur Verfügung.
- Start: 26.04.2012
- Ende: nach ca. 5min. -> 26.04.2012 ca. 09:14 Uhr
- Status: ABGESCHLOSSEN
Störung: Monitoring - System - 19.04.2012
- Die neue Festplatte hat das System soeben wieder "vor die Wand gesetzt".
- siehe Meldung: http://www.portunity.de/wiki/Portunity_Wiki:Aktuelle_Ereignisse#St.C3.B6rung:_Monitoring_-_System_-_16.04.2012
- Weiterführende Maßnahmen: Wir werden morgen früh 20.04.2012 den Haupt-Server umbauen. Die vorhandenen Festplatten sind nicht schnell genug und werden durch 6 Festplatten ersetzt.
- Die Überwachung wird morgen früh ab ca. 8 Uhr nicht zur Verfügung stehen.
- Status: ABGESCHLOSSEN
- Freitag 12:20 Uhr: Die neuen 6 Festplatten wurden verbaut und werden nun eingerichtet und mit dem Betriebssystem / Daten / Programmen versehen. Dies geschieht weitestgehend im Betrieb...
- Der Server ist nun mit dne zusätzlichen Festplatten super schnell und startet auch komplett in ca. 30 Sekunden durch.
24.04.2012: Tausch ns1.portunity.de - Auth. DNS Server 1
Unser autoritativer DNS Server 1 in Wuppertal hatte vor einigen Wochen ja einen Ausfall und musste kalt gestartet werden (wir Informierten via Twitter). Dies veranlasste uns einen neuen Server kaufen und damit den alten Server zu ersetzen. Dies wollen wir wir nun durchführen.
- Die Arbeiten werden tagsüber vorgenommen
- Einschränkung: Keine Domain Registrierungen oder Updates
- Abschaltung der alten IP-Adresse: 81.92.15.33
- Dauer der Umstellung: ca. 1 - 2 Stunden
- Start: geplant ist 24.04.2012 ca. 10 Uhr
- Ende: 24.04.2012 11:30 Uhr
- Status: ABGESCHLOSSEN
Umstellung: IPv6 Umstellung - Dienstag 17.04.2012
Umbau des IPv6 Routings im Rechenzentrum Wuppertal.
- Betroffen: Nur unsere IPv6 Dienste in Wuppertal: DNS Server, Mailserver.
- Status: √ ABGESCHLOSSEN
Störung: Monitoring - System - 16.04.2012
- Durch den Ausfall einer im RAID befindlichen SATA Platte, wird das System im Laufe des Tages herunter gefahren und die defekte Festplatte durch eine Neue ersetzt. Das System / die Überwachung steht dann nur eingeschränkt zur Verfügung.
- Die defekte Festplatte wurde ersetzt und nun synchronisiert sich das RAID neu.... Es kann während dieser Phase zu Fehlalarmen kommen.
- Status: √ ABGESCHLOSSEN
- Weiterführende Maßnahmen: Wir werden den Monitorserver mittelfristig auf 2 Server aufteilen. Der Hauptserver übernimmt die Watchdogs und der PINGs und der 2. Server das Monitoring: Stromerfassung, Auslastungsmessung der Systeme etc...
Sicherheitslücke: Mittwoch 11.04.2012
Schwere Sicherheitslücke im Linux Samba-Dienst entdeckt.
Wir informierten die betroffenen Speeddrive Kunden per E-Mail, das der SMB - Dienst zur Zeit nur noch durch einen VPN-Tunnel zu erreichen ist.
- Wir planen am Montag den 16.04.2012 die Aktualisierung des Servers sowie das einspielen des entsprechenden Patches. Der Dienst wird in der Zeit zwischen 9:00 Uhr bis "offen" nicht erreichbar sein.
- Alle Arbeiten wurden um 13:15 Uhr erfolgreich abgeschlossen. Das System ist nun mit allen verfügbaren und vor allem den SAMBA-Dienst betreffenden Patches ausgestattet. Nun ist SAMBA (Die Windows - Freigabe) wieder ohne VPN Tunnel nutzbar.
- Status: √ ABGESCHLOSSEN 16.04.2012