Maintenance le samedi 21 juin 2014

Une maintenance du serveur de JabberFR, entrainant l’arrêt complet de tous les services, aura lieu le samedi 21 juin 2014 de 18h à 20h.

Pas grand chose au programme si ce n’est le redémarrage d’ejabberd qui s’est permis de couper le service des messages offline tout seul comme un grand… Je profiterai de l’occasion pour réaliser quelques opérations de maintenance mineures.

Veuillez noter qu’il y a de fortes chances que la maintenance dure moins longtemps que prévu, auquel cas, vous en seriez informés via une mise à jour de ce billet.

Mise à jour de 21h00 : Suite à un contretemps, la maintenance commence seulement maintenant. Désolé pour le retard.

Mise à jour de 21h25 : La maintenance est finie. Les messages offline refonctionnent sur jabber.fr et im.apinc.org. À noter le passage à prosody 0.9.4.

Coupure réseau du 7 mai 2014

Pour information, l’APINC a été victime d’une coupure réseau sur une partie de leur infrastructure entre 21h35 et 23h58. Ce qui a entrainé une coupure de l’ensemble des services de JabberFR durant ce laps de temps.

La situation a pu être réglée grâce à une intervention physique sur les équipements réseaux.

À l’heure où j’écris ces lignes, tout est revenu à la normale.

Maintenance le dimanche 2 mars 2014

Une maintenance du serveur de JabberFR, entrainant l’arrêt complet de tous les services, aura lieu le dimanche 2 mars 2014 de 16h à 18h.

Au programme :

  • prosody :
    • mise à jour vers la 0.9.3
    • installation et activation du backend libevent (pour ne plus subir la limite des 1024 descripteurs de fichiers…)
    • installation et activation de mod_limits (pour limiter la bande passante au niveau c2s et s2s dans l’espoir que ça calme les utilisateurs indésirables qui nous plantent le serveur de temps à autre)
  • ejabberd :
    • re-compilation avec le support de exmpp (si j’y arrive, ce qui n’est pas gagné…) pour pouvoir faire des sauvegardes des utilisateurs via la XEP-0227, ce qui permettra à terme de pouvoir effacer les comptes indésirables sereinement

Mise à jour de 16h05 La maintenance commence. Comme la dernière fois, vous pouvez suivre la maintenance sur le salon jabberfr-sos@muc.last-exile.org (client web).

Mise à jour de 16h15 : libevent et mod_limits en place.

Mise à jour de 18h : La maintenance est finie. Bilan: on a maintenant un prosody à jour (avec la 0.9.3), le backend libevent activé et un mod_limits en place. Quant à ejabberd, il  a gagné (si quelqu’un a déjà réussi l’exploit de l’utiliser avec exmpp pour la commande export_piefxis ou export_piefxis_host de ejabberdctl, qu’il me fasse signe, son aide sera grandement appréciée).

Évolution de la population des salons Jabber (2013)

Ce billet fait suite à une première analyse effectuée pour l’année 2012. Le périmètre de l’analyse est très restreint, comme l’année dernière (voire les précisions sur l’outil utilisé plus bas).

  • Synthèse

Globalement la tendance de fréquentation est la baisse : en moyenne la fréquentation a baissé de plusieurs personnes par salon.

Ensemble des salons sur 2013

D’autre part, on note sur les salons les plus peuplés des fluctuations beaucoup plus importantes au cours de l’année avec des creux significatifs lors du printemps, du mois d’août et du mois de décembre.

Amplitude journalière sur jabberfr@

A part en décembre où le taux d’occupants permanents est grand, le reste de l’année les variations journalières restent d’environ 15 personnes.

2 faits marquants sur les salons observés :

- le salon discussion@ a été déserté d’une grande partie de ses occupants à partir de mai.

- le salon tatoeba@, fréquenté pour moitié par des IRCiens via une passerelle, déménage de serveur (chat.tatoeba.org).

  • Notes sur les données

Les données sont collectées toutes les 15 min, puis moyennées sur chaque journée (avec l’outil Statsalons). Un bug a entrainé la perte des données du mois de novembre.

Les évolutions de l’outil permettent désormais de collecter les fréquentations de l’intégralité des salons d’un serveur, et ce pour plusieurs serveurs. Cette collecte est instanciée depuis Juin 2013 pour chat.jabberfr.org, représentant un total d’environ 150 salons (morts ou vivants).

L’outil n’a pas connu beaucoup de modifications depuis l’année dernière : début de restructuration des fonctions de collecte (permettant de gérer automatiquement les nouveaux salons d’un serveur), outils d’analyse de disponibilité des données.

 

Beaucoup de travail reste à faire pour arriver à un outil pleinement fonctionnel et robuste : formaliser les traitements sur les données brutes (sous-échantillonage, calcul des moyennes …), formaliser la création des graphiques, créer une interface utilisateur permettant la visualisation des données de façon dynamique (choix des plages temporelles, groupes de salons, traitements…), proposer une API pour permettre la réutilisation des données par d’autres services (je pense par exemple au moteur de recherche http://search.wensley.org.uk).

Maintenance le dimanche 26 janvier 2014 (ou quand migration rime avec virtualisation)

Une maintenance du serveur de JabberFR, entrainant l’arrêt complet de tous les services, aura lieu le dimanche 26 janvier 2014 de 14h à 18h.

Le but de cette maintenance est de migrer tous les services de notre serveur actuel (fraiseuz) vers un nouveau virtualisé (malaxeuz) hébergé sur une nouvelle machine. Cette migration nous apportera deux avantages :

  • Facilitera les migrations futures au sein du réseau APINC en cas de nouveau changement de machine physique (parce que non, ce n’est pas aussi simple que de juste migrer une instance de serveur xmpp)
  • Mise en place d’une solution DRBD (qui peut être vu comme du RAID 1 via le réseau), facillitant ainsi la reprise du service en cas de problème avec la machine principale

À noter que dans un premier temps, cette migration n’entrainera pas de changement d’adresses IP (quleque soit le service). Par contre, dans les jours à venir, l’ensemble des sites web hébergés sur fraiseuz actuellement en changeront. Mais ça donnera lieu à un nouveau billet.

À noter aussi que je mettrai à jour ce billet en fonction de l’évolution de la migration.

Mise à jour de 19h12 : Finalement la mise à jour prend plus de temps que prévu (oui c’est laborieux), mais les services principaux n’ont pas été coupés tout de suite. Actuellement les bases mysql, prosody et ejabberd sont migrés, mais pas encore redémarrés. Je m’attaque au firewall et aux IPs. Le premier service à revenir devrait être prosody.

Mise à jour de 20h21 : Prosody est de nouveau disponible. Au passage, il a été mis à jour à la 0.9.2.

Mise à jour de 21h10 : Ejabberd est de nouveau disponible. Au passage, il a été mis à jour à la 2.1.13.

Mise à jour de 23h01 : Ejabberd n’aura pas tenu longtemps, puisque le temps de mettre à jour le billet, il était déjà retombé. Après une bonne prise de tête avec des erreurs incompréhensibles, et quelques redémarrages du nouveau serveur, le service est de nouveau disponible depuis 22h20.

Mise à jour de 23h42 : Pour ceux désireux de suivre plus en détail la migration, vous pouvez venir sur le salon jabberfr-sos@muc.last-exile.org (client web).

Mise à jour du 27/01/2014 à 00h38 : Les salons sont de retours. La suite (et fin j’espère), ce soir. Mais pour le moment les 3 principaux services sont fonctionnels. À noter que je ferais sans doute un post-mortem de cette migration dans quelques jours, en mettant en avant les problèmes rencontrés.

Mise à jour du 27/01/2014 à 19h08 : La redirection du port 443 vers le port 5222 a été remise en place (vous pouvez donc recommencer à glander au boulot \o/).

Mise à jour du 28/01/2014 à 08h21 : Un redémarrage de ejabberd et prosody est prévu ce soir entre 19h et 20h (pour pouvoir appliquer certaines modifications nécessaires à la suite de la migration).

Mise à jour du 28/01/2014 à 20h04 : Serveur redémarré.

Mise à jour du 29/01/2014 à 00h39 : Les sites sont revenus (et muckl aussi par la même occasion). Tous, à part http://im.apinc.org/etat/ qui redirige pour le moment sur http://jabber.apinc.org/ (mais ce n’est que temporaire).

Mise à jour du 29/01/2014 à 23h52 : Les passerelles irc et j2j ainsi que Deep Thought sont de retour.

Mise à jour du 30/01/2014 à 00h26 : Presence et jud sont de retour.

Mise à jour du 30/01/2014 à 23h57 : Un redémarrage du serveur sera effectué demain entre 06h30 et 07h00, afin de pouvoir libérer l’adresse ip temporaire utilisée lors de la migration. À noter aussi que des admins de l’APINC feront une intervention demain dans le datacenter pour, entre autres, débrancher fraiseuz. Il ne devrait a priori pas y avoir d’interruption de service durant l’intervention.

Mise à jour du 31/01/2014 à 07h02 : Le redémarrage s’est bien passé.

Mise à jour du 01/02/2014 à 00h09 : Plusieurs sites étaient indisponibles depuis le dernier redémarrage. C’est maintenant corrigé. Le problème venait d’un soucis de montage au démarrage de la machine. La cause du problème est en cours d’investigation.

Mise à jour du 05/02/2014 à 08h11 : Afin de pouvoir mettre en place la solution de redondance, l’équipe de l’APINC redémarrera malaxeuz le jeudi 06 février 2014 à 22h. Pour rappel, malaxeuz est le nom de la machine (virtuelle) accueillant l’ensemble des services XMPP de JabberFR. L’opération ne devrait pas prendre plus de 20min.

Mise à jour du 06/02/2014 à 22h54 : Cela fait 20min que le serveur est redémarré.

Sortie de Prosody 0.9.0

Traduction de Prosody 0.9.0 released en français par Emmanuel Gil Peyrot.

Oui ! Prosody 0.9.0 est là !

Plus de 1500 commits ont été écrits par douze personnes depuis la version 0.8, et encore plus pour les bibliothèques tierces auxquelles nous avons contribué, comme LuaSocket, LuaSec et LuaEvent.

IPv6

IPv6 logo

Notre première fonctionnalité importante à annoncer est la prise en charge complète d’IPv6. Après la sortie de la 0.8, c’était de loin la fonctionnalité la plus demandée sur notre plate-forme de suivi. Un grand merci à Florian Zeitz, qui a travaillé sur la majeure partie de la prise en charge d’IPv6 à la fois dans Prosody et LuaSocket.

Pour plus d’informations sur la prise en charge d’IPv6 de Prosody, voir notre documentation.

Identifications entre serveurs par certificat

s2s security

Même si Prosody prend en charge le chiffrement SSL/TLS pour les connexions entre serveurs depuis longtemps, il n’était pas capable d’utiliser les certificats associés dans un but d’identification, se repliant à la place sur le plus traditionnel protocole dialback se basant sur le DNS.

Depuis Prosody 0.9, et avec une version appropriée de LuaSec, l’identification par certificat est automatiquement utilisée quand c’est possible. De plus, Prosody vous offre le contrôle complet sur la politique de sécurité pour la communication avec les domaines distants.

Un grand merci à Paul Aurich qui a réalisé une grande partie du travail pour rendre cela possible, aussi bien dans Prosody que dans LuaSec.

Plus d’informations sont disponibles dans notre documentation sur la sécurité entre serveurs.

Serveur HTTP

Prosody a un serveur HTTP intégré, qui était initialement conçu pour BOSH. Cependant, son usage s‘est progressivement élargi, notamment à l’hébergement des logs des salons, des indicateurs de statut, des APIs REST et une interface web.

Par conséquent dans la 0.9 nous avons beaucoup amélioré les entrailles de notre serveur HTTP et l’API qu’il expose aux modules. Il prend désormais en charge les hôtes virtuels, ce qui va permettre d’exposer les services plus simplement en environnement multi-hôtes.

Quelques options de configuration ont changé, donc si vous utilisiez BOSH avec une configuration personnalisée, ou n’importe quel autre module HTTP, n’oubliez pas de lire nos notes de version pour savoir comment mettre à jour en douceur vers la 0.9.

Les développeurs de modules peuvent avoir un aperçu de notre nouvelle API ici : API pour les modules HTTP de Prosody.

Pubsub

Fait qui intéressera tout particulièrement les développeurs d’applications XMPP, Prosody 0.9 dispose de base d’une implémentation de la XEP-0060, mod_pubsub. La XEP-0060 est une longue spécification, et nous ne la prenons pas encore entièrement en charge. Si une fonctionnalité particulière vous manque, faites-le nous savoir, nous allons continuer d’améliorer notre prise en charge de pubsub dans les prochaines versions.

Autres changements

Il y a eu d’autres changements, trop pour tous les lister ici. En voici quelques petits exemples :

  • la taille de l’historique d’un MUC (backlog) est configurable par salon ;
  • les modules peuvent désormais étendre dynamiquement le formulaire de configuration des MUCs ;
  • prosodyctl peut maintenant assister la génération des requêtes de signature de certificat (certificate signing requests, CSRs)
    et des certificats auto-signés ;
  • une autre nouvelle commande pour prosodyctl, « about » : affiche des informations sur une installation Prosody.

Téléchargement

Rendez-vous sur notre catégorie téléchargements, et n’oubliez pas de consulter nos notes de version si vous mettez à jour depuis une version antérieure.

Nous ne pouvons pas finir sans dire un grand merci à notre formidable communauté. Que vous ayez contribué au code, aidé à tester, rapporté un bug ou parlé de Prosody et XMPP à vos amis, vous avez contribué au succès de ce projet et de cette release.

Joyeux Jabberage,
l’équipe de Prosody

Publié le 20 août 2013 par l’équipe de Prosody
Traduit le 21 août 2013 par Emmanuel Gil Peyrot
Un grand merci également aux différents relecteurs de cette traduction.

Réunion mai 2013

Voici 8 mois qu’a eu lieu la dernière réunion de travail. 8 mois pendant lesquels on s’est déchaîné comme des fous !

Ha, omega me souffle que ce n’est pas crédible, et il n’a pas tout à fait tort (IRL, tout ça). Quoi qu’il en soit, il y a quand même eu suffisament d’avancées pour que cela vaille la peine qu’on fasse le point sur la situation actuelle, et que l’on prépare l’avenir ensemble. :)

Une réunion aura donc lieu le jeudi 23 mai 2013 de 20h30 à 22h00 (heures de Paris) sur le salon association@chat.jabberfr.org. La réunion étant ouverte à tout le monde (membres de l’association ou pas), nous vous attendons nombreux, mais dans le calme et respectueux du lieu.

L’ordre du jour est disponible dès maintenant sur le wiki. Pour les plus impatients, sachez que l’on y parlera, entre autres, de la migration de im2 sur prosody (et de ce que ça entraîne) et du fait que l’on stagne à 13 membres depuis janvier. Le temps restant sera consacré aux éventuelles questions du « public » restées sans réponse.

Maintenance le lundi 22 avril (ou quand bonding rime avec prosody)

Une maintenance du serveur de JabberFR, entrainant l’arrêt complet de tous les services, aura lieu le lundi 22 avril 2013 de 17h30 à 19h.

L’intervention aura lieu en deux temps : l’équipe de l’Apinc ajoutera d’abord une solution de bonding au serveur, puis nous migrerons notre instance de jabberd14 vers prosody.

Pour rappel, l’instance de jabberd14 gère tous les domaines en dehors de jabber.fr et im.apinc.org. On en profitera aussi pour rajouter le support du domaine jabberfr.org. Les membres actuels pourront donc enfin avoir leur adresse en jabberfr.org (un mail leur sera d’ailleurs bientôt adressé pour qu’ils puissent choisir le jid qui les intéresse).

Mise à jour du 21/04/2013 à 21h40 : La maintenance finira en fait vers 00h30. Les services ne seront pas entièrement coupés, mais seront quand même perturbés durant cette période.

Mise à jour du 23/04/2013 : La maintenance s’est bien passée. Aucun incident n’est à déplorer.

Évolution de la population des salons Jabber

Ce billet propose une première analyse des statistiques de fréquentation des salons de chat.jabberfr.org effectuées à partir d’un outil développé spécifiquement.

Évolution de la population dans une journée

  • Analyse

L’étude porte sur un échantillon arbitraire de 6 salons du serveur chat.jabberfr.org :
- jabberfr@chat.jabberfr.org : Salon des utilisateurs de Jabber francophones
- discussion@chat.jabberfr.org : Salon de discussion généraliste
- sciences@chat.jabberfr.org : Discussions concernant les sciences
- mathematiques@chat.jabberfr.org : Discussions autour des maths
- debian-fr@chat.jabberfr.org : Salon de la communauté Debian francophone
- tatoeba@chat.jabberfr.org : Salon de la communauté Tatoeba (passerelle avec un salon IRC)

La plage temporelle couvre du 1er décembre 2011 au 31 décembre 2012; cependant une grande partie des données du mois de décembre ont étés perdues.

En excluant le mois de décembre peu exploitable, la tendance globale est à une légère augmentation de la fréquentation de ces salons durant l’année. Le salon tatoeba@ connait une hausse importante (+100%) mais cette hausse est d’abord due à la fréquentation du salon IRC auquel il est relié. Les variations de fréquentation sur les salons jabberfr@ et debian-fr@ peuvent être très rapides (10 personnes de moins en moyenne en l’espace de quelques jours).
On note au moins 2 ruptures importantes du serveur durant mi-mars et début juin, ainsi qu’une 15aine de plus faible durée dans la période couverte.
Le début de l’été est propice à l’augmentation de la fréquentation (forte augmentation entre mai et juillet; plus de 5 fois il y a eu plus de 30 personnes en moyenne dans la journée sur jabberfr@), ce qui est probablement un signe de jeunesse de la population jabberienne.

L’analyse des min/max durant la journée permet d’évaluer le nombre d’idler dans le salon; sans surprise, le salon tatoeba@, relié à un salon IRC, excelle avec une variation d’environ 5 personnes dans une journée. Les principaux salons jabber « purs » fluctuent de 10 à 20 occupants dans la journée.

Ces statistiques montrent que globalement la population des salons s’accroit, mais très faiblement. L’étendue des données est encore faible et ne permet donc pas de faire des analyses sur le long terme. Néanmoins, ces courbes permettent de surveiller l’évolution de la population des salons Jabber au fil des mois, et permettront d’évaluer l’impact des différentes opérations de promotions de Jabber (publication d’articles sur LinuxFR, organisation d’évènements dans les salons …).

Ces statistiques ne permettent pas d’évaluer l’activité des salons; pour cela, on pourra se rapporter à l’outil Mucron.

  • Apropos de l’outil Statsalons

L’outil Statsalons (site du projet) relève le nombre d’occupants dans chaque salon tous les quarts d’heure puis produit des graphes à différentes échelles temporelle : journée, mois, année; sur ces deux derniers sont tracés les valeurs moyennes sur la journée ainsi que les bornes min/max rencontrées dans la journée.

Cet outil, réalisé en Python, n’est qu’à l’état de démonstrateur et de nombreuses évolutions sont prévues dans une prochaine version pour rendre l’outil plus fiable, plus facile d’utilisation mais aussi plus complet dans les analyses possibles. Actuellement seule la fonction de traçage n’est pas codée depuis zéro (utilisation de matplotlib); un des objectifs de la prochaine version est de s’appuyer sur plus de briques libres existantes (Sqlite pour le stockage, NumPy pour les traitements, …).

Un service en ligne public devrait être proposé prochainement pour récupérer les données disponibles et consulter à la demande les différentes courbes.

Mise à jour du planet

Bonjour à tous !

Pour faire suite à la création de l’association, dont nous vous avons parlé ici et , nous cherchons à faire (re)vivre un peu plus le planet de JabberFR. Le meilleur  moyen pour démarrer est de trouver de nouveaux blogs et/ou sites à aggréger. Nous faisons donc appel à votre aide ! (Non, nous ne vous demandons pas (déjà) de l’argent (mais ne vous inquiétez pas, ça viendra !)) Si vous connaissez des blogs ou des sites qui pourraient convenir, n’hésitez pas à nous en faire part.

Pour rappel, à l’heure actuelle les sites suivants sont agrégés :

Sachant que certains sont un peu/beaucoup/passionnément/à la folie l’abandon, une nouvelle vague de sites serait top ! Qui sait, peut-être est-ce l’occasion pour vous de mettre en place votre propre blog (et bien sûr de le faire référencer sur le planet !) \o/