Anwendungsausfall am 17.11.2022

Leider kam es am Vormittag des 17.11. in Folge einer Überlastung zu einem Ausfall unserer Anwendung.

Was ist passiert?

Wir verwenden für die Anzeige der Suchergebnisse die Volltextsuche unserer Datenbank Postgresql. Damit diese schnell funktioniert, muss die Tabelle regelmäßig durch das Datenbankmanagementsystem aufgeräumt werden. Dies geschieht, wenn ein bestimmter Prozentsatz der Zeilen einer Tabelle verändert wurde. Da die Datenbank mittlerweile eine stattliche Größe erreicht hat, wurde dieser Prozentsatz seit längerer Zeit nicht mehr erreicht und das Aufräumen hat scheinbar zu lange nicht statt gefunden.

In Folge der nicht aufgeräumten Daten wurde die Suche in der Anwendung nach und nach langsamer. Das hat zu verlängerten Antwortzeiten der Suche im Browser geführt, wodurch dann auch andere Seiten nach und nach nicht mehr so schnell geladen wurden. So hat sich dieser Effekt immer weiter selbst verstärkt und am Ende gab es zu viele parallele Anfragen an die Datenbank, die diese nicht mehr beantworten konnte. In letzter Instanz war dadurch die Anwendung nicht mehr erreichbar.

Was haben wir bisher unternommen?

Wir haben kurzfristig mehr Rechenleistung zu den Datenbankservern hinzugefügt, so dass noch mehr parallele Anfragen verarbeitet werden können.

Was werden wir weiter unternehmen?

Wir werden die verwendete Datenbank auf eine neuere Version umstellen. Diese ist noch besser für das automatische Aufräumen der Tabellen optimiert. Zusätzlich werden wir die Konfiguration aber auch noch so anpassen, dass das Aufräumen häufiger ausgeführt wird und es nicht mehr zu einer solchen Situation kommen kann. Außerdem werden wir unser Monitoring verbessern, so dass wir eine solche Situation das nächste mal schneller erkennen können.

‍

Wenn Sie Rückfragen haben, kontaktieren Sie uns bitte unter support@fortytools.com