Es gibt aktuell keine Offen bekannten Störungen
Notfallwartungsarbeiten Netzwerk Infrastruktur (Gelöst) Hoch

Betreffend Anderes - RZ Infrastruktur

  • 09.06.2021 07:15 - 09.06.2021 07:30
  • Zuletzt aktualisiert 09.06.2021 09:30

Im Rahmen von sicherheitsrelevanten Updates der Netzwerkinfrastruktur werden zentrale Komponenten ("Switches") neu gestartet werden müssen.
Aufgrund der Dringlichkeit des Updates wurde dieses durch das RZ kurzfristig eingeplant und kann nicht, wie sonst üblich, ohne Unterbrechungen der Verfügbarkeit vorgenommen werden.

Es ist von einer Nichterreichbarkeit der Webseiten von ~10 Minuten auszugehen.

7:23 Uhr: Die Wartungsarbeiten sind abgeschlossen. Es kommt derzeit zu Problemen bei der Erreichbarkeit von Webseiten auf einem Legacy Loadbalancer, die nicht über Cloudflare laufen. Wir untersuchen dies derzeit.

9:25 Uhr: Alle Seiten sind wieder online. Wir werden allen Kunden auf der Legacy Infrastruktur schnellstmöglich zu einer Migration auf unsere Cloudflare Infrastruktur raten, da die alte Infrastruktur  nicht mehr ausfallsicher bereitgestellt werden kann. Dies führte zu den Problemen heute morgen im Rahmen der Wartungsarbeiten. Die Legacy Infrastruktur wird daher am 12.06.2021 abgeschaltet, da diese nicht mit unseren SLAs vereinbar ist und lediglich eine kurzfristige Übergangslösung im Rahmen der Cloudflare Einführung darstellte. 

DDOS Angriff (Gelöst) Kritisch

Betreffend Server - MeinImmoPortal Cluster

  • 08.03.2021 22:00 - 22.03.2021 00:00
  • Zuletzt aktualisiert 22.03.2021 14:10

Seit dem 08.03. gegen 22:00 Uhr laufen anhaltende DDOS Attacken gegen einzelne Kunden der MeinImmoPortal Plattform.

Unser Operating Team arbeitet mit Hochdruck an einer Eindämmung und Minimierung der Auswirkung auf andere Kunden.
Aufgrund der Professionalität des Angriffs gibt es jedoch kaum wirksame Gegenmaßnahmen.

Als Gegenmaßnahme schalten wir vor die betroffenen Webseiten eine zusätzliche Sicherheitsschicht über Cloudflare. Da dazu DNS Umstellung notwendig sind, rechnen wir erst im Laufe des morgigen Tages mit einer spürbaren Entspannung.

//Update: 10.03. - 12:00 Uhr

Der Angriff hat sich zwischenzeitlich auf weitere Webseiten ausgedehnt. Entsprechend haben wir unsere Gegenmaßnahmen erweitert und angepasst. Unsere Gegenmaßnahmen zeigen jedoch spürbar Erfolg und konnten bereits diverse Angriffswege schließen und wirksam unterbinden.
Wir können leider nach wie vor keine Entwarnung geben, da es unverändert zu Angriffen kommt und die Attacken auch wiederholt an unsere Gegenmaßnahmen angepasst werden. 

Bitte sehen Sie derzeit von sämtlichen Aktionen ab, die einen erhöhten Traffic auf Ihrer Webseite verursachen würden. Wir können nach wie vor nicht die gewohnte Qualität und Verfügbarkeit sicherstellen.

//Update: 11.03. - 16:30 Uhr

Es gibt leider nach wie vor Angriffe. Diese konnten wir jedoch durch den Einsatz von Cloudflare soweit abblocken, dass es den Tag über zu keinerlei Auswirkungen auf unsere Server kam.

// Update: 22.03. - 14:00 Uhr

Der letzte Angriffe konnte am 14.03. erfasst werden. Wir gehen davon aus, dass derzeit keine weitere akute Bedrohung besteht. Wir geben sämtliche Systeme wieder frei und bedanken uns für Ihre Geduld.
Weitere Schutzmaßnahmen werden derzeit implementiert. Eine forensische Aufarbeitung und strafrechtliche Ermittlung wird derzeit durchgeführt.

Fehlerhafte Immobiliendarstellung (Gelöst) Hoch

Betreffend System - ImmoWerft

  • 21.01.2021 17:10 - 22.01.2021 11:20
  • Zuletzt aktualisiert 22.01.2021 11:20

22.01. - 11:18

Der Fix wurde von der MaklerWerft bereitgestellt und eingespielt. Die Störung ist behoben.

22.01. - 10:50

Ein Fehler in der ImmoWerft führt aktuell zu fehlerhaften Darstellungen der Immobilien für eingeloggte User.

Der Fehler wird derzeit von der MaklerWerft mit Hochdruck behoben und wir kurzfristig bereitgestellt.

Wir informieren Sie über die Einspielung.

Bombenfund in direkter Nähe unseres Rechenzentrums (Gelöst) Kritisch

Betreffend Anderes - Rechenzentrum Telehouse Frankfurt

  • 06.12.2020 14:00 - 06.12.2020 16:00
  • Zuletzt aktualisiert 15.01.2021 14:28

Unweit unseres Rechenzentrums Telehouse wurde bei Bauarbeiten eine 500kg Bombe aus dem 2. Weltkrieg gefunden.

Diese soll nach aktuellem Stand am Sonntag, 06.12.2020 ab 14 Uhr entschärft werden.

Zu dieser Zeit wird der gesamte Umkreis evakuirert, dazu gehört auch der Campus unseres Rechenzentrums. Es sind zu dieser Zeit dann also keine Techniker vor Ort.

Wartungsarbeiten: Erweiterung der Webserver und Anpassung am Loadbalancer (Gelöst) Hoch

Betreffend System - Basis // Lastverteilung

  • 30.09.2020 09:00 - 30.09.2020 10:00
  • Zuletzt aktualisiert 30.09.2020 09:42

09:41 Uhr: Wir konnten sämtliche Tests erfolgreich abschließen. Die Umstellung ist damit abgeschlossen.

---

09:12 Uhr: Die Umstellung ist durchgeführt. Wir testen aktuell alle Systeme durch.

---

09:02 Uhr: Wir beginnen mit der Umstellung.

---

Am Mittwoch, den 30.09. zwischen 09:00 und 10:00 Uhr werden wir geplante Wartungsarbeiten an unserer Lastverteilung vornehmen. Dadurch kann es zu kurzen Nichterreichbarkeit sämtlicher Webseiten kommen.

Diese Arbeiten sind notwendig, um die Kapazitätserweiterungen Live zu schalten. Ihre Webseiten wird nach Abschluss der Arbeiten noch schneller und performanter arbeiten.

Vielen Dank für Ihr Verständnis.

Gateway Timeouts bei eingeloggten Usern (Gelöst) Mittel

Betreffend System - MeinImmoPortal Plattform

  • 16.09.2020 10:29 - 16.09.2020 17:00
  • Zuletzt aktualisiert 16.09.2020 16:54

16.09 - 16:50

Wir sehen eine Normalisierung in den Antwortzeiten. onOffice scheint die Probleme gelöst zu haben

16.09 - 10:47

Das Problem wurde seitens onOffice bestätigt: https://www.status.onoffice.de/

16.09 - 10:37

Als Ursache konnten onOffice API Aufrufe identifiziert werden. Diese treten nur bei eigeloggten Usern auf und erzeugen die langen Latenzzeiten. Wir informieren derzeit onOffice und arbeiten an einer Problemlösung.

16.09 - 10:29

Nach einem geplanten Update kommt es bei einzelnen Kunden zu "Gateway Timeouts" beim Aufruf von Immobilien Detailseiten. Dieses Problem betrifft nur eingeloggte Kunden.

Wir untersuchen den Sachverhalt aktuell.

Extrem lange Ladezeiten im Backend und bei eingeloggten Usern (Gelöst) Kritisch

Betreffend System - MeinImmoPortal Plattform

  • 03.06.2020 05:20 - 04.06.2020 08:10
  • Zuletzt aktualisiert 06.06.2020 11:56

06.06.2020 - 11:56

Wir konnten keine weiteren Angriffe und auffällige Lastspitzen erkennen. Wir schließen diesen Incident daher.

04.06.2020 - 08:10

Als Ursache konnten wir inzwischen automatisierte Angriffe auf viele unserer Kunden-Webseiten feststellen. Diese führten durch den Versuch WordPress Seiten zu hacken durch eine extrem hohe und konstante Anzahl an Anfragen zu den beschriebenen Last Problemen. Die Funktionalität von WordPress, auf welche die Angreifer gezielt haben, haben wir vorsorglich für Zugriffe von außen gesperrt. Die Angriffe laufen damit nun ins Leere.

Die Systeme haben sich inzwischen auch wieder beruhigt und die Last ist zurück in Normal-Bereiche.
Wir werden die Systeme und die Situation den Tag über noch weiter beobachten.

04.06.2020 - 01:07

Die Last hat sich wieder normalisiert, wir forschen weiter nach den Ursachen, um diese langfristig zu unterbinden.

03.06.2020 - 17:20

Wir untersuchen derzeit ein ungewöhnlich hohes Traffic-Volumen auf unseren Servern. Durch die Menge der Anfragen werden sämtliche Ressourcen in Anspruch genommen und Operationen dauern extrem lange.Wir bitten um Ihr Verständnis und Ihre Geduld.

Verbindung zu anderen Mail-Servern per SSL/TLS unter Umständen gestört (Gelöst) Hoch

Betreffend System - Mail Versand

  • 04.06.2020 08:33 - 14.09.2020 15:28
  • Zuletzt aktualisiert 04.06.2020 08:35

Aufgrund eines global auftretenden Problems, könnten derzeit Verbindungen zu Mail Servern, anderer Anbieter gestört sein.

Details können Sie zum Beispiel diesem Artikel entnehmen: https://www.heise.de/news/AddTrust-Probleme-durch-abgelaufenes-Root-Zertifkat-4771717.html

Wir arbeiten mit Hochdruck an einem Workaround. Bitte prüfen Sie, ob der Mail-Versand über Ihre Webseite einwandfrei funktioniert.

Als Workaround können Sie für die Verbindung zu Ihrem SMTP Server zeitweise die TLS/SSL Transportverschlüsselung deaktivieren.

Fehler beim Speichern von Navigations Menüs (Gelöst) Niedrig

Betreffend Anderes - Plugin: WP All Import Pro

  • 20.04.2020 15:32 - 14.09.2020 15:28
  • Zuletzt aktualisiert 20.04.2020 15:35

20.04.2020 - 15:33

Sollten Sie auf Ihrer Seite Probleme beim Speichern von Menüs haben UND das Plugin "WP All Import Pro" aktiv sein, so kann dies die Ursache sein.

Deaktivieren Sie bitte "WP All Import Pro". Im Anschluss sind Menüs wieder speicherbar.
Bitte aktivieren Sie "WP All Import Pro" nach dem Speichern des Menüs wieder.

Den Fehler konnten wir nachvollziehen und haben diesen an den Hersteller von WP All Import Pro gemeldet. Sobald eine Lösung des Problems seitens des Herstellers vorliegt, werden wir diese testen, einspielen und hier erneut informieren.

Wordliner Content Anbindung fehlerhaft (Gelöst) Mittel

Betreffend Anderes - Wordliner Content Schnittstellen

  • 13.03.2020 15:17 - 20.04.2020 00:00
  • Zuletzt aktualisiert 20.04.2020 15:32

01.04.2020 - 15:31

Weitere Vorkommnisse sind uns nicht bekannt. Eine Rückmeldung seitens Wordliner gab es leider nicht, sodass wir davon ausgehen, dass es in Zukunft erneut zu Fehlern kommen kann.

Bitte wenden Sie sich bei kaputtem Wordliner Content direkt an Wordliner.

01.04.2020 - 16:52

Wir befinden uns nach wie vor in der Klärung mit Wordliner. Ein allgemeingültiges Vorgehen konnte bislang leider nicht abgestimmt werden. Sollte Ihre Seite betroffen sein, möchten wir Sie freundlich darum bitten, sich direkt an Ihren Ansprechpartner bei Wordliner zu wenden. Ihr Content wird dann von Wordliner wieder korrigiert.

Aktuell können wir nicht ausschließen, dass sich der Vorfall wiederholt. Wir arbeiten hier nach wie vor an einer langfristigen Lösung.

17.03.2020 - 15:17

Uns erreichen vermehrt Meldungen über kaputten Wordliner Content. Dieser wird zum Teil doppelt und ohne Bilder importiert.

Nach einer ersten Analyse stellte sich heraus, dass Wordliner zwischen dem 06.03. und 13.03. die Content-Schnittstelle ohne Ankündigung und Rücksprache angepasst hat. Dies führt zu kaputten (Inhalte ab dem 13.03. ohne Bild) und doppelten (Inhalte bis zum 13.03. 1x mit Bild und 1x ohne Bild) Inhalten.

Wir befinden uns mit Wordliner im Austausch und versuchen die Inhalte schnellstmöglich wieder korrekt zur Verfügung gestellt zu bekommen.

Wartungsarbeiten an den USV Systemen (FTS-7) (Gelöst) Niedrig

Betreffend Anderes - Stromverorgung

  • 23.03.2020 07:00 - 02.04.2020 10:05
  • Zuletzt aktualisiert 26.02.2020 11:19

Es werden Wartungsarbeiten an der unterbrechungsfreien Stromversorgung (USV) vorgenommen.

Die Arbeiten werden im genannten Zeitraum täglich zwischen 07:00 und 17:00 durchgeführt.

Der Betrieb wird hiervon nicht beeinträchtigt werden. Eine redundante Stromversorgung wird nach wie vor zur Verfügung gestellt.

Telia Wartungsarbeiten (Gelöst) Niedrig

Betreffend Anderes - Netzwerk

  • 11.03.2020 00:00 - 02.04.2020 10:05
  • Zuletzt aktualisiert 26.02.2020 11:15

An einer der Netzwerkanbindungen der Server ans Internet (Telia) werden Wartungsarbeiten durchgeführt. Es werden keine Ausfälle erwartet.

Es kann jedoch zu Paketverlusten ( = kurzzeitigen Verbindungsproblemen) kommen.