Portunity Wiki:Aktuelle Ereignisse

Aus Portunity Wiki

(Unterschied zwischen Versionen)
Wechseln zu: Navigation, Suche
(→Störung CoLocation Frankfurt 13.08.2012)
(→Störung CoLocation Frankfurt 13.08.2012)
Zeile 33: Zeile 33:
<strong style="background-color: #00AA00; color: #FFFFFF; padding: 3px;">
<strong style="background-color: #00AA00; color: #FFFFFF; padding: 3px;">
'''Wir werden morgen Vormittag an dieser Stelle weitere Infos kommunizieren und eventuelle Maßnahmen mitteilen.'''</strong>
'''Wir werden morgen Vormittag an dieser Stelle weitere Infos kommunizieren und eventuelle Maßnahmen mitteilen.'''</strong>
 +
 +
 +
* 14.08.2012: Wichtiger-Hinweis: Durch den aktuellen "Notbetrieb" sind leider ein paar alte IP-Adressen nun nicht mehr erreichbar. Betroffen ist primär die '''82.139.223.34''', was ein alter Caching / Resolver DNS Server war. Die IP-Adresse sollte eigentlich bereits seit Jahren nicht mehr antworten. Bitte passen Sie Ihre DNS-Server an, oder nutzen Ihren Router als DNS Server, welcher die korrekten Server automatisch zugewiesen bekommt. [[Wie lauten die Namen und IP-Adressen der Caching- / Resolving-Nameserver für Einwahlprodukte (DNS)?]]
 +
** Sollten Sie die 82.139.223.33 als authoritativen DNS Server für Ihre Domain nutzen, so müssen Sie diesen auch umgehen anpassen! [[Wie lauten die Namen und IP-Adressen der authoritativen Nameserver für Domains (DNS) ?]]
== Technik - Forschungswoche ==
== Technik - Forschungswoche ==

Version vom 07:51, 14. Aug. 2012

Inhaltsverzeichnis

Hinweis

In diesem Artikel veröffentlichen wir alle umfangreicheren sowie geplanten Arbeiten an Systemen die unsere Kunden direkt oder indirekt betreffen. Störungen werden hier nur veröffentlicht wenn resultierende Nacharbeiten / Wartungsfenster entstehen. Kurze / Kleine Störungen erscheinen hier nicht.
Generell Twittern wir alle Störungen und Ankündigungen über den dedizierten Twitter - Channel: http://twitter.com/pty_ops

Die letzten Meldungen können Sie je nach Bereich immer einsehen unter:

Aktuelles

Störung CoLocation Frankfurt 13.08.2012

Seit ca. 20:15 Uhr (13.08.2012) gibt es in einer CoLoCation in Frankfurt, in der Technik von uns steht eine Störung.


Betroffen: Dienste in Frankfurt: Telefonie Plattform mit Nebendiensten, VPN-Tunnel-Plattform, sekundäre DNS Server. Vermutlich auch die DSL-Plattform

Nicht betroffen: Standort / Rechenzentrum Wuppertal

  • 20:15 Uhr: Die genaue Ursache ist noch nicht bekannt.
  • 21:15 Uhr: Die Störung liegt außerhalb unseres Einflussbereiches
  • 21:40 Uhr: Unbefriedigend, jedoch endlich die Bestätigung erhalten, das sich nun gekümmert wird.
  • 22:14 Uhr: In FFM ist ein zentraler Router ausgefallen. Er lässt sich auch nicht mehr wiederbeleben. Er wird / ist jetzt durch einen Hotspare ersetzt werden/worden... heiße Phase....
  • 22:31 Uhr: Soweit sind alle IP4v Dienste wieder erreichbar. IPv6 ruckelt noch nicht, kommt aber noch ;)
    • Die Störung lag auf jeden Fall nicht in unserem Einflussbereich. :)
  • 22:41 Uhr: Nun rennen auch die IPv6 Netze auf der VPN-Tunnelplattform wieder.
    • Die Rufbereitschaft wünscht nun eine gute Nacht, bis morgen.

Sollte Ihnen dennoch etwas auffallen, sie bitte eine eMail mit der Fehlerbeschreibung an: support@portunity.de Wir melden uns dann morgen bei Ihnen. Danke


Wir werden morgen Vormittag an dieser Stelle weitere Infos kommunizieren und eventuelle Maßnahmen mitteilen.


Technik - Forschungswoche

Unsere Techniker werden vom 06.08.12 - 10.08.12 eine Forschungswoche einschieben, um einige Projekte massiv voran zu bringen oder gar abzuschließen. Aus diesem Grund sind wir nicht ganz so gut direkt erreichbar. Wir sind natürlich da und kümmern uns um Ihre Anrufe, eMails sowie Tickets. Nur bei Techniker-Arbeiten kann es schon mal zu kleinen Verzögerungen kommen. -> Ausnahme natürlich Störungen: Ist Ihr Server bei uns oder gar unsere Infrastruktur gestört, sind wir natürlich sofort am Start :)

Wir bedanken uns für Ihr Verständnis und freuen uns schon auf die Herausforderungen.

Status: Wir haben die Woche richtig viel geschafft und konnten einige neue Fundamente für neue Produkte bauen. Da die Woche so super funktioniert hat erstellen wir nun noch einiges an Dokumentation und machen mit dem Ausbau weiter. So werden nicht nur der smtp-backup1.portunity.de und smtp-relay.portunity.de neu aufgesetzt, sondern auch interne Radius Server für die VPN-Tunnel Plattform.

Die OPS sagt DANKE. Allen, die uns unterstützt haben und allen, die Verständnis für eventuell längere Supportlaufzeiten aufgebracht haben.

Twitter to Mail

Da wir gelegentlich das Feedback erhalten, der Twitter Channel würde nicht reichen, eine eMail im Störungsfall wäre besser haben wir uns folgende Erweiterung überlegt: Wir senden automatisch alle Tweets per eMail an alle, die im Kunden-Center dies Feature aktiviert haben.

Der Haupt-Weg bleibt aber Twitter, da dies 100% von unserer Infrastruktur unabhängig ist. Der Mailversand kann u.U. je nach alter einer Störung unterbrochen sein. Des weiteren dauert der Mailversand auch länger, da wir nicht nur 10 Mails versenden ;)

  • Status: BETA online

Neue DNS - Server in Frankfurt

Die DNS Server in Frankfurt (Caching und Autoritativ) laufen zwar sehr gut, jedoch hat die eine oder andere Festplatte S.M.A.R.T. Warnungen und bevor dies zu Ausfällen führt, tauschen wir die Festplatten durch. Wir werden im gleichen Zug aber auch ein neues OS installieren, damit wir dann auch wieder "Ruhe haben" :)

Die betroffenen Server stehen für den Umbau nicht zur Verfügung, die Primärsysteme in Wuppertal laufen jedoch weiter.

  • Betroffen: ns2.portunity.de & ns-cache2.portunity.de (217.144.128.34)
  • Status: in Umsetzung
  • Termin Umschaltung: Zusammen mit KVM - Host - FFM


Neuer Mail Relay Server

Es wird einen neuen smtp-relay.portunity.de Server geben, damit wir auch hier die neuen IPv4-Adressen aber auch IPv6 Adressen nutzen. Die alte IP-Adresse: 81.92.15.39 wird voraussichtlich zum 03.09.2012 abgeschaltet. Sollte dies zu knapp bemessen sein, so bitte bei uns im Support melden. Danke

  • Status: in Umsetzung
  • Termin Umschaltung: Noch offen, geschieht aber leise. Alter Server bleibt noch bestehen.
  • Termin Abschaltung: Der alte Server wird am 03.09.2012 abgeschaltet.

Neuer Mail Backup 1 Server

Es wird ebenso einen neuen smtp-backup1.portunity.de Server geben, damit wir auch hier die neuen IPv4-Adressen aber auch IPv6 Adressen nutzen. Die alte IP-Adresse: 81.92.15.40 wird voraussichtlich zum 03.09.2012 abgeschaltet. Sollte dies zu knapp bemessen sein, so bitte bei uns im Support melden. Danke

  • Status: in Umsetzung
  • Termin Umschaltung: Noch offen, geschieht aber leise. Alter Server bleibt noch bestehen.
  • Termin Abschaltung: Der alte Server wird am 03.09.2012 abgeschaltet.

VPN-Tunnel Plattform

Aktuell entwickeln wir an neuen Features für die ([Tunnel-Plattform]), was genau wird noch nicht verraten :)

Der neue Server kommt nun nach Wuppertal und nicht mehr nach Frankfurt, da wir hier eine bessere Verfügbarkeit als die CoLos in FFM haben und wir einfach "näher dran sind".

Es wird sich dadurch jedoch die Basis-IP-Adresse des Servers ändern. Bei Nutzung des Hostnames "pptp.ffm.portunity.de" muss jedoch nichts geändert werden.

  • Kleine Feature Aussicht:
    • Volle IPv6 Unterstützung (sofern die Softwarehersteller dies unterstützen)
    • l2tp mit und ohne IPsec
    • Absenkung der Latenz um mind. 4 ms
    • ggf. weitere Features....


  • Termin: Noch offen. Vermutlich August/September 2012!
  • Status: soon

KVM Backup Host - NFS Backup

Für unsere Business V-Server sowie eigene virtuelle Server bauen wir den Backup-Mechanismus um, wodurch wir uns eine höhere Flexibilität, mehr Performance sowie schnellere Wiederherstellung im Restore-Fall erhoffen.

Dazu verwenden wir einen 3HE Supermicro Server mit 16 Bays, den wir zum Start mit nur 3 Stück 4TB Festplatten ausstatten und jederzeit mit weiteren 11 Platten erweitern können. Für den Start reichen 8 TeraByte ;)


  • Termin: kein Termin erforderlich, da schleichender Prozess.
  • Status: Ist im Testbetrieb :=)

KVM Host - FFM

Für unsere CoLo in Frankfurt spendieren wir einen neuen V-Server-Host auf KVM Basis, damit wir einige neue, eigene Projekte realisieren können.

  • Termin: August/September 2012.
  • Status: Server bereits in Wtal im Testbetrieb :=)


Abgeschlossenes / Archive

KVM Cloud Host / Node

Für unsere Business V-Server sowie eigene virtuelle Server fügen wir in unsere Cloud einen zusätzlichen Server ein.


  • Termin: kein Termin erforderlich, da schleichender Prozess.
  • Status: done


Anbindungsprobleme 01.08.2012

Status: 01.08.2012 - Zwischen ca. 12:50 und 13:00 Uhr gab es offensichtlich eine globale Netzstörung, wodurch nicht nur unsere Standorte betroffen / nicht erreichbar waren, sondern auch andere namhafte Provider.

Es sind einige Leitungen der DTAG ausgefallen, was zu einer Überlastung der Netze geführt hat. Vielleicht der berühmte Bagger ;)


Klimatechnik Serverraum 1

Wir planen die Erweiterung der Klimatisierungstechnik in Serverraum 1 (Datacenter Wuppertal), da die aktuelle Klimaleistung nicht mehr genügt. Mit "nicht mehr genügt" ist gemeint, das wir aktuell nicht mehr Garantiert "n+1" haben, also ein 100% unabhängiges Reserve-Gerät. Da wir dies jedoch wünschen, rüsten wir auf.

  • Eiliges Update 29.06.12:Am 28.06.12 (wir Twitterten) stieg die Außentemperatur so stark an, das die Reserveanlage zugeschaltet werden musste. Diese versagte jedoch ihrer Leistung (trotz wöchentlichem Test), wodurch die Temperatur im Serverraum 1 leicht Anstieg. Diverse Sofortmaßnahmen und Analysen brachten uns zu dem Schluss die Nachrüstung zu beschleunigen und ggf. Interimslösungen zu installieren.
    • Es handelt sich um KEINEN kritischen Zustand. Erst ab ca. 36°C Aussentemp. steigt die Serverraumtemperatur mit an.
    • Die neuen Anlage(n) sind bestellt und werden Donnerstag in Betrieb genommen.
  • Status 04.07.12: Die beiden neuen Geräte wurden durch uns vorinstalliert.
  • Termin 05.07.12: Fertig Wir haben heute erfolgreich 10kW mehr Kühlleistung in Serverraum 1 in Betrieb genommen. Damit haben wir "jetzt" n+2 -> Also 2 Reserve-Anlagen

PTR-Störung beim RIPE-NCC (UPDATE)

Update 15:39 Uhr

Wir bekommen derzeit Meldungen von Kunden, dass die Zonen offenbar wiederhergestellt wurden.
Das RIPE NCC hat ebenfalls in einem Rundschreiben bestätigt, dass die Störung beseitigt sein soll.
https://www.ripe.net/internet-coordination/news/announcements/update-14-june-13-35-utc-reverse-dns-services-outage




Momentan liegt eine Störung betreffend der PTR-Records für bestimmte IPv4-Netze und IPv6-Präfixe vor: http://www.portunity.de/s/3l

Wir haben festgestellt dass - obwohl nicht explizit aufgeführt - auch Teile des Netzes 213.0.0.0/8 nicht mehr korrekt aufgelöst werden können.

Das RIPE verwaltet die IP-Adressen im europäischen Raum und hat daher auf seinen eigenen DNS-Servern NS-Records für die einzelnen IP-Blöcke hinterlegt, die dann zu den jeweiligen Providern (z.B. zu uns) führen. Offenbar ist dort bei einem Update oder Wartungsarbeiten die DNS-Zone kaputt gegangen, man ist seit gestern Abend dran diese wiederherzustellen. Momentan bekommen wir die Anfragen für die betroffenen IP-Adressen garnicht mehr weitergeleitet, weil der entsprechende Eintrag auf den DNS-Servern des RIPE fehlt und wir diesen derzeit auch nicht mehr erzeugen können.

Da wir auf dieses Problem leider keinen Einfluss haben kann ich Ihnen leider auch keinen ungefähren Zeitrahmen nennen, wie lange die Wiederherstellung der Zone dauert.

Wir empfehlen während dieser Zeit auf Mailservern/Spamfiltern auf die Prüfung der Konsistenz von A/AAAA-Record und PTR zu verzichten oder zumindest nur aus diesem Grund keine Mails mehr abzulehnen.

Diese IPv4-Netze von uns sind derzeit zumindest teilweise davon betroffen

  • 212.60.128.0/19
  • 213.240.176.0/20


Neue Telefonanlage

Wir planen die Erneuerung unserer Telefonanlage. Zum einen schaffen wir damit die ISDN - Technik ab und zum Anderen stellen wir auf Asterisk 1.8 um.

  • Betroffen sein kann:
    • Sämtliche Anrufe auf der 0202 / 69555xxx
    • Notrufe für Kunden mit VIP - SLA Vertrag
    • Fax Empfang
    • ENUM Validierungsanrufe
    • Neukundenanmeldungen mit Rückruf-Validierung

Wir rechnen jedoch nur mit einer kurzzeitigen Unterbrechung der Erreichbarkeit und nicht mit einer längerfristigen Umstellung.

  • Termin: 12.06.2012 !
  • Status: ABGESCHLOSSEN

Tausch der USV (UPS) Akkus

  • Aus Sicherheitsgründen und damit wir die gewohnte Stabilität von über 99,7% halten können tauschen wir nun alle fälligen USV-Akkus pauschal aus.
  • Da mit keinen Unterbrechungen der Stromzufuhr zu rechnen ist, nehmen wir den Tausch jeweils tagsüber vor (dann sind wir auch über eine längere Zeit zwecks Beobachtung noch vor Ort) und informieren nicht jeden betroffenen Kunden einzeln.
  • Start: 19.04.2012
  • Ende: 15.05.2012


09.05.2012 Abschaltung alte IP-Adresse 81.92.15.34 - Resolver DNS Server 1

Seit ca. 2 Jahren haben alle unsere DNS Server neue IP-Adressen erhalten. Leider haben noch nicht alle Kunden dies umgestellt, weshalb wir hier nun erneut eine Rundnachricht versenden und einen dreiwöchigen Aufschub eingerichtet haben.

Für ein sauberes IPv6 Routing in unserem Rechenzentrum ist die Abschaltung solcher alten IP-Adressen leider unerlässlich. Es handelt sich um eine technisch notwendige Änderung.

  • Status: WICHTIGE ANKÜNDIGUNG
  • Endgültige Abschaltung der IP-Adresse am 09.05.2012
  • Status: OFFLINE


26.04.2012 Durchstarten 92.Speeddrive

  • Wir müssen das Gateway 92.Speeddrive morgen mal eben durchstarten.
  • Der Dienst steht für ca. 5min, nicht zur Verfügung.
  • Start: 26.04.2012
  • Ende: nach ca. 5min. -> 26.04.2012 ca. 09:14 Uhr
  • Status: ABGESCHLOSSEN


Störung: Monitoring - System - 19.04.2012

  • Weiterführende Maßnahmen: Wir werden morgen früh 20.04.2012 den Haupt-Server umbauen. Die vorhandenen Festplatten sind nicht schnell genug und werden durch 6 Festplatten ersetzt.
  • Die Überwachung wird morgen früh ab ca. 8 Uhr nicht zur Verfügung stehen.
  • Status: ABGESCHLOSSEN
    • Freitag 12:20 Uhr: Die neuen 6 Festplatten wurden verbaut und werden nun eingerichtet und mit dem Betriebssystem / Daten / Programmen versehen. Dies geschieht weitestgehend im Betrieb...
    • Der Server ist nun mit dne zusätzlichen Festplatten super schnell und startet auch komplett in ca. 30 Sekunden durch.

24.04.2012: Tausch ns1.portunity.de - Auth. DNS Server 1

Unser autoritativer DNS Server 1 in Wuppertal hatte vor einigen Wochen ja einen Ausfall und musste kalt gestartet werden (wir Informierten via Twitter). Dies veranlasste uns einen neuen Server kaufen und damit den alten Server zu ersetzen. Dies wollen wir wir nun durchführen.

  • Die Arbeiten werden tagsüber vorgenommen
  • Einschränkung: Keine Domain Registrierungen oder Updates
  • Abschaltung der alten IP-Adresse: 81.92.15.33
  • Dauer der Umstellung: ca. 1 - 2 Stunden
  • Start: geplant ist 24.04.2012 ca. 10 Uhr
  • Ende: 24.04.2012 11:30 Uhr
  • Status: ABGESCHLOSSEN


Umstellung: IPv6 Umstellung - Dienstag 17.04.2012

Umbau des IPv6 Routings im Rechenzentrum Wuppertal.

  • Betroffen: Nur unsere IPv6 Dienste in Wuppertal: DNS Server, Mailserver.
  • Status: √ ABGESCHLOSSEN


Störung: Monitoring - System - 16.04.2012

  • Durch den Ausfall einer im RAID befindlichen SATA Platte, wird das System im Laufe des Tages herunter gefahren und die defekte Festplatte durch eine Neue ersetzt. Das System / die Überwachung steht dann nur eingeschränkt zur Verfügung.
    • Die defekte Festplatte wurde ersetzt und nun synchronisiert sich das RAID neu.... Es kann während dieser Phase zu Fehlalarmen kommen.
  • Status: √ ABGESCHLOSSEN
  • Weiterführende Maßnahmen: Wir werden den Monitorserver mittelfristig auf 2 Server aufteilen. Der Hauptserver übernimmt die Watchdogs und der PINGs und der 2. Server das Monitoring: Stromerfassung, Auslastungsmessung der Systeme etc...

Sicherheitslücke: Mittwoch 11.04.2012

Schwere Sicherheitslücke im Linux Samba-Dienst entdeckt.

Wir informierten die betroffenen Speeddrive Kunden per E-Mail, das der SMB - Dienst zur Zeit nur noch durch einen VPN-Tunnel zu erreichen ist.

  • Wir planen am Montag den 16.04.2012 die Aktualisierung des Servers sowie das einspielen des entsprechenden Patches. Der Dienst wird in der Zeit zwischen 9:00 Uhr bis "offen" nicht erreichbar sein.
  • Alle Arbeiten wurden um 13:15 Uhr erfolgreich abgeschlossen. Das System ist nun mit allen verfügbaren und vor allem den SAMBA-Dienst betreffenden Patches ausgestattet. Nun ist SAMBA (Die Windows - Freigabe) wieder ohne VPN Tunnel nutzbar.
  • Status: √ ABGESCHLOSSEN 16.04.2012
Von „https://www.portunity.de/wiki/Portunity_Wiki:Aktuelle_Ereignisse“

Disclaimer Wiki-Seiten:

Das Portunity Wiki ist eine offene Plattform welche von Portunity als ein Bestandteil der Website bereiterstellt und betrieben wird. Sinn und Zweck ist es gemeinschaftlich an Texten zu arbeiten und so einen Wissens- und Knowhow-Pool aufzubauen. Mitarbeiter von Portunity-Firmen, Kunden von Portunity-Firmen und Mitglieder der Portunity-Comunity können diese Plattform gleichermassen lesend und schreibend nutzen und so kollaborativ am gemeinschaftlichen Wissen arbeiten.

Es sollte von daher klar sein, dass die Portunity GmbH, die Portunity Media GmbH oder andere Portunity nahe Firmen als Betreiber der Wiki-Plattform nicht unbedingt Kenntniss von einzelnen Inhalten haben müssen. Dies gilt insbesondere für von Kunden und Community-Mitgliedern beigesteuerten Inhalten. Auch unsere Mitarbeiter haben nicht immer Kenntnis von allen Inhalten.

Weiter (restlichen Disclaimer anzeigen)
Persönliche Werkzeuge