Maintenance le dimanche 26 janvier 2014 (ou quand migration rime avec virtualisation)

Une maintenance du serveur de JabberFR, entrainant l’arrêt complet de tous les services, aura lieu le dimanche 26 janvier 2014 de 14h à 18h.

Le but de cette maintenance est de migrer tous les services de notre serveur actuel (fraiseuz) vers un nouveau virtualisé (malaxeuz) hébergé sur une nouvelle machine. Cette migration nous apportera deux avantages :

  • Facilitera les migrations futures au sein du réseau APINC en cas de nouveau changement de machine physique (parce que non, ce n’est pas aussi simple que de juste migrer une instance de serveur xmpp)
  • Mise en place d’une solution DRBD (qui peut être vu comme du RAID 1 via le réseau), facillitant ainsi la reprise du service en cas de problème avec la machine principale

À noter que dans un premier temps, cette migration n’entrainera pas de changement d’adresses IP (quleque soit le service). Par contre, dans les jours à venir, l’ensemble des sites web hébergés sur fraiseuz actuellement en changeront. Mais ça donnera lieu à un nouveau billet.

À noter aussi que je mettrai à jour ce billet en fonction de l’évolution de la migration.

Mise à jour de 19h12 : Finalement la mise à jour prend plus de temps que prévu (oui c’est laborieux), mais les services principaux n’ont pas été coupés tout de suite. Actuellement les bases mysql, prosody et ejabberd sont migrés, mais pas encore redémarrés. Je m’attaque au firewall et aux IPs. Le premier service à revenir devrait être prosody.

Mise à jour de 20h21 : Prosody est de nouveau disponible. Au passage, il a été mis à jour à la 0.9.2.

Mise à jour de 21h10 : Ejabberd est de nouveau disponible. Au passage, il a été mis à jour à la 2.1.13.

Mise à jour de 23h01 : Ejabberd n’aura pas tenu longtemps, puisque le temps de mettre à jour le billet, il était déjà retombé. Après une bonne prise de tête avec des erreurs incompréhensibles, et quelques redémarrages du nouveau serveur, le service est de nouveau disponible depuis 22h20.

Mise à jour de 23h42 : Pour ceux désireux de suivre plus en détail la migration, vous pouvez venir sur le salon jabberfr-sos@muc.last-exile.org (client web).

Mise à jour du 27/01/2014 à 00h38 : Les salons sont de retours. La suite (et fin j’espère), ce soir. Mais pour le moment les 3 principaux services sont fonctionnels. À noter que je ferais sans doute un post-mortem de cette migration dans quelques jours, en mettant en avant les problèmes rencontrés.

Mise à jour du 27/01/2014 à 19h08 : La redirection du port 443 vers le port 5222 a été remise en place (vous pouvez donc recommencer à glander au boulot \o/).

Mise à jour du 28/01/2014 à 08h21 : Un redémarrage de ejabberd et prosody est prévu ce soir entre 19h et 20h (pour pouvoir appliquer certaines modifications nécessaires à la suite de la migration).

Mise à jour du 28/01/2014 à 20h04 : Serveur redémarré.

Mise à jour du 29/01/2014 à 00h39 : Les sites sont revenus (et muckl aussi par la même occasion). Tous, à part http://im.apinc.org/etat/ qui redirige pour le moment sur http://jabber.apinc.org/ (mais ce n’est que temporaire).

Mise à jour du 29/01/2014 à 23h52 : Les passerelles irc et j2j ainsi que Deep Thought sont de retour.

Mise à jour du 30/01/2014 à 00h26 : Presence et jud sont de retour.

Mise à jour du 30/01/2014 à 23h57 : Un redémarrage du serveur sera effectué demain entre 06h30 et 07h00, afin de pouvoir libérer l’adresse ip temporaire utilisée lors de la migration. À noter aussi que des admins de l’APINC feront une intervention demain dans le datacenter pour, entre autres, débrancher fraiseuz. Il ne devrait a priori pas y avoir d’interruption de service durant l’intervention.

Mise à jour du 31/01/2014 à 07h02 : Le redémarrage s’est bien passé.

Mise à jour du 01/02/2014 à 00h09 : Plusieurs sites étaient indisponibles depuis le dernier redémarrage. C’est maintenant corrigé. Le problème venait d’un soucis de montage au démarrage de la machine. La cause du problème est en cours d’investigation.

Mise à jour du 05/02/2014 à 08h11 : Afin de pouvoir mettre en place la solution de redondance, l’équipe de l’APINC redémarrera malaxeuz le jeudi 06 février 2014 à 22h. Pour rappel, malaxeuz est le nom de la machine (virtuelle) accueillant l’ensemble des services XMPP de JabberFR. L’opération ne devrait pas prendre plus de 20min.

Mise à jour du 06/02/2014 à 22h54 : Cela fait 20min que le serveur est redémarré.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Comment ID: X3t3wg

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.