Vorige week is https://test.mastodon.nl/ gaan werken op basis van containers / kubernetes. Dit functioneert, maar de performance laat nog te wensen over. Omdat dit mogelijk gerelateerd zou zijn aan de testomgeving zelf, heb ik de performance issues even genegeerd.
Gisteren en vanochtend is de container gebaseerde setup ook werkend gemaakt op / naast de mastodon.nl productie omgeving. Hiervoor moest een kleine aanpassing worden gedaan aan de huidige setup, dus dat gaf wat downtime vroeg vanmorgen.
Daarna is de container gebaseerde setup gecontroleerd en vervolgens bijgeschakeld in de live omgeving. Direct waren er performance issues te zien, maar ook deze zijn even genegeerd.
Vervolgens zijn de huidige productie webservers tijdelijk uitgeschakeld, zodat al het verkeer naar de container gebaseerde setup liep. Daarna is er een klein uur gekeken naar het functioneren en de performance. De site functioneert ook in productie, maar ook hier is de performance nog onder de maat. We kunnen nu wel makkelijk switchen tussen de bestaande en nieuwe setup, dus dat zal op de rustige momenten nog wat vaker gebeuren, om dingen te zien en proberen.
Er is een duidelijk rij pieken te zien in de onderste lijn. En hoger is slechter, dus dat moet nog veel beter.
Wat ook opvalt is dat we de API rate limiter van mastodon raken, doordat al het verkeer van een enkel IP komt (onze loadbalancer). Hoe we dit omzeilen en waarom dit met de oude setup geen issue is/was, moet uitgezocht worden.
Ook zien we dat van de twee worker nodes die ons productiecluster nu heeft, er maar één bereikbaar is vanaf de loadbalancer.
Dus nog een paar puzzeltjes om naar te kijken, maar we gaan vooruit.
Geef een reactie