PROJET AUTOBLOG


Le blog de Genma

Site original : Le blog de Genma

⇐ retour index

Mise à jour

Mise à jour de la base de données, veuillez patienter...

Le Markdown comme langage d'écriture universel ?

jeudi 1 janvier 1970 à 01:00

Introduction

Il y a quelques années, quand j'avais un peu de temps et que je contribuais modestement à Wikipédia pour quelques pages, j'avais envisagé de passer du temps à apprendre la syntaxe wiki, chose que je n'ai fau final pas vraiment faîte, au-delà des quelques éléments de bases : gras, italique, lien hypertexte, liste à puces... Avec mon autohébergement et la mise en place de mon propre wiki pour concerntrer et tracer un certain nombres d'informations utiles (principe d'un wiki), j'ai un peu dérouillé ma syntaxe wiki mais sans plus.

En ayant commencé à utiliser Gitlab (voir à ce sujet Lifehacking - Gitlab, outil idéal ?) pour la gestion des projets, dont les wikis lié aux services que je gère, j'ai commencé à passer plus de temps à faire du markdown (le langage d'écriture par défaut dans Gitlab), que j'avais déjà expérimenté au travers quelques fichiers Read.me publié sur des projets Git.

Devant le côté assez simple de Markdown, le fait qu'il puisse être utilisé pour mon outil de Wiki (Dokuwiki) via un plugin, je me suis posé de l'usage de Markdown comme langage universel : est-ce utile de passer prendre un peu de temps pour l'apprendre ? Telle est la question que je me suis posée et la réponse est tient en un mot : OUI. Ci-dessous le pourquoi et l'intérêt...

Le Markdown ?

Si je cite la définition de base du Markdown Markdown est un langage de balisage léger créé par John Gruber en 2004. Son but est d'offrir une syntaxe facile à lire et à écrire. Un document balisé par Markdown peut être lu en l'état sans donner l'impression d'avoir été balisé ou formaté par des instructions particulières. Un document balisé par Markdown peut être converti en HTML ou en autres formats.

On retrouve deux des caractéristiques que j'apprécie particulièrement : léger et facile, convertissable.

Quel éditeur ?

Il existe différentes éditeurs qui supportent Markdown, dans le cadre de l'industrialisation de nos projets au sein de mes équipes et pour avoir une cohésion des outils (un même outil utilisé par tous permet de pouvoir s'aider facilement les uns les autres), nous avons retenu Atom avec l'extension Markdown comme éditeur de fichier. Atom permet d'avoir un aperçu de son document au moment de la saisie, on retrouve ce bon vieux WYSIWYG (What You See Is What You Get) que je connais depuis mes débuts à faire des pages HTML il y a un peu plus de 15 ans de ça... Associé à un plugin Git pour commiter les fichiers de wiki que l'on édite, c'est un outil pratique et qui convient à nos besoins.

Un autre besoin

Nous faisons beaucoup de rédaction de livrable, nous avons un certain nombre de documents à régulièrement rédiger pour les clients. Nous avons des templates définies avec des styles dans LibreOffice, ce qui est une bonne chose. Mais comment passer à la version supérieure de l'industrialisation ? En éditant la documentation sous forme de fichiers Mardown dans un dossier du projet dans notre instance Gitlab (qui nous sert aussi pour sa partie Kanban, suivi des fichiers de configuration...). On peut ainsi facilement travailler si besoin à plusieurs sur un projet, reprendre le projet, corriger la documentation (nous avons toute la puissance de Git pour la gestion des conflits, la décentralisation...) ce qui est, plus pratique que le suivi des modifications d'un seul et même document LibreOffice édité, à plusieurs, à tour de rôle.

Il faut ensuite le convertir de la source Markdown vers un format LibreOffice. Il existe Pandoc, comme couteau suisse de la conversion, qui permet de prendre différentes sources dans différents formats pour les formater convertir dans différents formats de sortie : Latex vers HTML ou Opendocument (format LibreOffice) par exemple, pour ne citer que deux parmi des dizaines de format. Pour tout savoir, voir le site de Pandoc. Pandoc accepte parmi tous ses formats d'entrée le format Markdown, mais le fichier LibreOffice sortit est un fichier de base.

GreenMan, pour ne pas le citer et avec qui je travaille, a pris sur lui le défi de construire une moulinette en shell bash, pour permettre une transformation d'une documentation écrite en Markdown vers un document formaté sur base de template de l'entreprise et ça marche. Il reste quelques ajustements à faire, nous devons relire et corriger / ajuster la mise en forme du document final pour quelques coquilles, mais le plus gros du travail est fait. Nous avons bien un outil qui nous permet de passer dur Markdown vers LibreOffice, selon un template de document prédéfini. Sur ce sujet, je reviendrai plus tard avec un article dédié co-rédigé avec GreenMan.

Mais c'est outil, sa simplicité d'usage (pour un administrateur système de base qui s'est lancé une commande shell) renforce cette idée d'appropriation du Markdown.

Markdown pour les mails ?

Ayant écrit un compte-rendu dans Gitlab et donc en syntaxe Markdown, j'ai fait un copier coller dans le corps du mail et j'ai eu à remettre en forme... Perte de temps... J'ai donc cherché rapidement et effectivement il existe une extension pour Thunderbird pour la prise en charge du Markdown. Et il existe bien une Extension pour Thunderbird qui correspond à mon besoin : Markdown Here.
Écrivez votre courriel avec Markdown, puis rendez-le attrayant.Markdown Here permet d'écrire un courriel avec Markdown et de le convertir (afin qu'il soit attrayant !) avant de l'envoyer. C'est parfait pour tous ceux qui n'aiment pas travailler avec des boutons de formatage pendant qu'ils écrivent un courriel. C'est particulièrement utile pour les programmeurs qui écrivent des courriels qui incluent du code — la coloration syntaxique est également supportée. Et pour les mathématiciens parmi nous : Markdown Here convertira tout aussi bien les formules TeX.
- http://markdown-here.com (en anglais)
- https://github.com/adam-p/markdown-here (en anglais)

Conclusion

Vu que je m'investis de plus en plus dans l'apprentissage du Markdown, il faudra également que je regarde quel outil permettrait de faire des supports de conférence en se basant sur ce langage d'écriture (Je sais que ça existe, il faudra que je vois), ce qui permettrait encore de renforcer l'intérêt et l'investissement sur ce langage.

Un canal de communication privé ?

jeudi 1 janvier 1970 à 01:00

Lorsque que je donne ma conférence du pseudonymat au pseudonyme on me pose la question suivante « est ce que j'ai un autre pseudonyme décorrélé – non lié à mon pseudonyme actuel et non lié à mon identité civile…. » Je dois avouer que pour différentes raisons, qu'il faudra que je détaille ultérieurement dans un futur billet, j'y pense de plus en plus. Toutefois, vu l'ampleur du travail que cela serait, car cela est long et compliqué de recréer tout un tissu social en repartant de zéro (pour faire plus simple) et afin d'évaluer les contraintes que cela aurait et commencer par une première expérimentation moins contraignante, je pense que je vais, un peu, changer mon usage des réseaux sociaux.

En réseau social actuellement, j'en utilise deux : Twitter et Mastodon. J'ai longtemps utilisé Diaspora, laissé de côté (abandonné devrais-je dire) par manque de temps au profit de Mastodon. Mais mon fil Mastodon actuel – en ce qui concerne mes publications personnelles – reste encore trop un simple copier coller de mon fil Twitter.

Pour avoir deux canaux de communication sur les réseaux sociaux distincts aux usages et buts différents, et gérer les contraintes qui apparaissent peu à peu avec mon passage du pseudonymat au pseudonyme, j'expérimente donc les usages suivants :
- Twitter pour la veille, le « CV » et la personne publique.
- Mastodon, désormais, en accès restreint (pour choisir les personnes qui me suivent et en ne rendant pas public mes messages), pour garder une intimité « relative ».

Le blog continue, mais aura probablement une orientation avec des réflexions et du partage généraliste et générique, les états d âmes seront alors réservés à Mastodon.
Ce que je raconte n'engage que moi. Ne concerne que moi. Dans le cadre de mes activités dans le cadre professionnel, j'ai un droit de réserve à appliquer. Mais en dehors ? En tant que personnage publique ? Je ne suis nullement le porte-parole de quiconque que ce soit les associations, collectifs ou causes dans lesquelles je m'implique ou je crois tout comme mon pseudonyme, par principe, ne doit pas être lié à l'entreprise qui m'emploie. Mais comme mon pseudonyme est relié indirectement à mon activité professionnelle, je ne pourrais jamais empêcher des personnes de faire un lien, volontaire ou non, entre mes propos personnels et la personne que je suis professionnellement. Certes la frontière est assez mince, mais elle existe. De plus, Internet n'oublie pas. On change de vie… Si je sais où je serai dans quelques mois, je ne sais pas où je serai dans des années…

Ce sont là des éléments de réflexions qui seront à amener à évoluer et s'enrichir avec le temps. Ce billet apporte de l'eau au moulin de la réflexion « faut-il ou non faire le choix de passer du pseudonymat au pseudonyme » à travers un nouveau partage - retour d expérience personnel sur ce sujet. Je n'ai pas et il n'y a pas de réponse, chaque cas et situation est particulière. Et les situations ne sont pas immuables et évoluent avec le temps.

La pyramide de Maslow du sysadmin

jeudi 1 janvier 1970 à 01:00

Un billet que je dédicace aux amis Skhaen et Cabusar suite à nos discussions à PSES2018.

Mon billet de blog Silence sur ce blog en juin résume assez bien l'état dans lequel je me suis retrouvé et vu les soucis que j'ai rencontrés avec le legacy ces derniers temps j'en ai été à me poser la question de la pyramide de Maslow du Sysadmin. Pour rappel la pyramide de Maslow plus communément appelée pyramide des besoins, hiérarchise le fait que si des besoins essentiels sont à remplir (Besoins physiologiques : faim, soif, sexualité, respiration, sommeil, élimination) avant les besoins de sécurité (environnement stable et prévisible, sans anxiété ni crise), qui passent avant les besoins d'appartenance et d'amour (affection des autres) pour enfin arriver au Besoin d'accomplissement de soi. Dit de façon vulgarisée et simpliste, quand on n'a faim et pas de toit sur la tête, difficile de chercher de l'accomplissement personnel...

Au-delà des critiques du modèle, des biais etc. et de toute l'analyse scientifique du modèle, dans le présent article, je présenterai donc une sorte de pyramide inversée, en commençant par le bas de la pyramide en allant vers le haut, du plus urgent au moins urgent, dans le cadre d'un contexte particulier qu'est celui de l'administrateur système. Pour rappel, je suis un administrateur système assez jeune, je ne commence dans le monde professionnel pour cette partie que depuis quelques mois (même si je suis sysadmin à mes heures perdues par loisir depuis de nombreuses années) et cette pyramide reflète mon expérience personnelle (et est également l'occasion pour moi de faire le point sur moi-même, comme souvent avec les billets de ce blog).

Préservation de l'humain

Toute en bas de la pyramide, je place désormais la préservation de l'humain. Vu l'état dans lequel je me suis retrouvé et je suis actuellement, je pense que c'est là l'essentiel. Dans ma pyramide de Maslow personnelle, j'ai placé trop haut et trop loin le besoin d'accomplissement personnel, menaçant la stabilité de base, en réduisant mon sommeil de façon involontaire (insomnie pendant lesquelles on prend des notes, réfléchit à sa todo, avance son travail de sa journée), en réduisant mon temps de repos… Bref, désormais en bas de cette pyramide je place ma propre préservation. Du fait de mon implication dans un métier passion, implication qui continue encore aujourd'hui, ce ne sera pas facile, mais tant que cette base n'est pas solide, les autres étages de la pyramide n'ont aucun sens et aucune stabilité.

La documentation

Sans documentation, on aura beau avoir le meilleur Système d'information possible, avec des systèmes mis à jour, sauvegarder de façon automatique, avec de l'intégration continue, l'ajout de nouveaux serveurs virtualisés intégrés dans la supervision en quelques minutes, ça ne sert à rien. Car dès lors qu'il faut faire évoluer quelque chose, ou qu'il y a du sable dans les rouages, si quelque chose ne se passe pas bien, sans documentation, tout cet outillage parfaitement rôdé ne sert plus à rien, vu que l'on ne sait pas comment s'en servir...

La documentation, c'est donc la base. Et non ce n'est pas une perte de temps. Après, attention à documenter ce qui est essentiel, à préciser les prérequis (on ne va pas réexpliquer toutes les bases des commandes shell ou le fonctionnement Linux à chaque fois), il faut juste expliquer les choix, les informations pertinentes et nécessaires pour pouvoir faire le travail du quotidien et la gestion des incidents déjà rencontrés (on ne peut bien évidemment pas documenter des incidents jamais rencontrés, mais on peut en anticiper certains ou avoir la documentation nécessaire pour réduire leurs impacts).

La documentation, qui est une forme de traçabilité et de reporting de l'avancement, permet également de pouvoir à tout moment, d'arrêter pour reprendre plus tard, d'être remplacé, de déléguer…

La gestion des sauvegardes

Une fois qu'on se préserve soit et qu'on a documenté, il y a le sujet, vaste, des sauvegardes. Idéalement selon la règle des 3-2-1, en ayant défini ce que l'on doit sauvegarder ? et en ayant vérifié que ses sauvegardes sont bien utilisables (Sauvegarde et restauration).

La gestion des mises à jour

Si on sait et restaurer ses sauvegardes, on peut alors passer à la gestion des mises à jour en ayant un parc le plus à jour possible. Ce qui n'est pas tout le temps possible, il faut composer avec le legacy et toutes ces applications qui ne supportent pas des versions supérieures de PHP (par exemple)... Mais on fera le maximum pour faire les mises à jour et ce de façon régulière, afin d'éviter les failles de sécurité et d'avoir des applications patchées (évitant ainsi de subir des bugs corrigés via les mises à jour).

La sécurité

On a des systèmes à jour, mais quand ils ne sont pas maintenus et se font compromettre, que l'on sait restaurer (vu que l'on a des sauvegardes), on peut alors de poser la question de la sécurisation. Là encore, vaste chantier qui prend du temps et même si les bonnes pratiques et les bases d'hygiène numérique (dont font partie les sauvegardes et les mises à jour) sont appliquées, ça prend du temps. Et d'autant plus que l'on veut une sécurité renforcée et forte... On commencera d'abord par une gestion des mots de passe simple et efficace, puis on renforce la sécurité des connexions… Plein de choses à faire...

La supervision

La supervision, quelque-soit l'outil que l'on utilisera, permettra d'alerter et de surveiller si les sauvegardes se sont bien déroulées, si les serveurs sont bien à jour, si les services fournis par ces derniers sont bien délivrés… La supervision permet de savoir quand quelque chose ne va pas. Et quand ça ne va pas, vaut mieux avoir des sauvegardes, un système à jour, sécurisé, ce qui évite justement une partie des soucis qui font que ça ne va pas (restera les dénis de service par surcharge du serveur, les espaces disques saturés… suffisamment de choses qui permettent de ne pas s'ennuyer...)

L'automatisation

Enfin, quand on a un parc sauvegardé, plus à moins à jour, on peut alors se pencher sur l'automatisation. Beaucoup de sysadmin diront qu'un bon sysadmin est un sysadmin fainéant et que cette automatisation devrait venir beaucoup plus haut dans la pyramide, je ne pense pas. On saupoudrera un peu d'automatisation tout au long des différentes étapes précédentes, on anticipera l'automatisation à venir, ce qui permettra une industrialisation le moment venu : les sauvegardes, les mises à jour, la supervision, le renforcement de la sécurité, tout cela sera intégré dans l'outil de déploiement et de gestion du parc.

Traçabilité et suivi des actions

La traçabilité et le suivi des actions, l'historisation des connexions, l'analyses des logs (qui pourraient entrer en partie dans la supervision) viennent pour moi à ce niveau. On a un système qui ronronne, qui est stable, où tout se passe bien, on peut donc alors s'attaquer à la traçabilité et au suivi. Là encore, en cas d'incident, cela pourra être utile pour comprendre le pourquoi, pour corriger, une fois que l'on aura restauré le service en fonctionnement nominal (en repartant sur une sauvegarde ou sur la création d'une nouvelle machine : facile vu que ce sera automatisé...)

En dehors de la pyramide

La pyramide est mono-dimensionnel, avec une progression vers le haut et dedans, il y a des choses qui sont transverses. J'évoquais l'automatisation qui doit être anticipée et ce dès la mise en place des sauvegardes, il y a également en chantier transverse le fait de pouvoir et devoir organiser les priorités à chaque niveau : on commence par sauvegarder ce qui est le plus critique, à mettre à jour et à sécuriser les serveurs les plus critiques, pour ensuite les superviser...

Les aller-retour au sein de la pyramide seront nombreux et tous les étages sont importants.

Silence sur ce blog en juin

jeudi 1 janvier 1970 à 01:00

En novembre dernier, je donnais pour une première fois ma conférence Du pseudonymat au pseudonyme, où j'expliquais ma démarche personnelle faite il y a deux ans maintenant, revenant sur plus de 20 ans de pseudonymat. J'étais alors assez content, concluant sur le fait que j'avais pas encore de réponse à savoir si cela avait été le bon choix et n'était pas en mesure d'en saisir toutes les conséquences, car c'était encore trop frais, trop récent.

Burn-out

Fin mars dernier, je publiais deux billets d'importance : Le métier passion et Tout intellectualiser qui présentait l'état dans lequel j'étais arrivé. Je ne pensais pas à ce moment-là, que trois mois plus tard, je serais encore sous les conséquences de ce que j'abordais dans ces billets... Peu de temps après je redonnais la même conférence actualisée, en terminant sur ce que j'aborde dans les billets cités, à savoir le fait que je m'étais retrouvé de moi-même coincé dans le métier passion... conduisant à un premier signe de burn-out, sous la forme d'une journée difficile durant laquelle m'était effondré en pleurs devant mon poste de travail, suite à un incident de production. Je constatais que j'avais eu beau avoir anticipé des tas de choses, je ne pouvais avoir le contrôle sur tout.

Cette alarme m'avait fait arrêté le lifehacking extrême, mais j'ai continué à travailler de trop nombreuses heures, 1/3 de plus que le temps réglementaire, cumulant fatigue nerveuse et physique. J'ai pourtant continué à passer des heures en coulisse le week-end à travailler, sans qu'on me le demande, juste parce que j'en ai envie... Il y a beaucoup de choses à faire, je ne comptais pas mes heures, personne ne m'arrêtait car ne voyait ce que je faisais en coulisse... La pression personnelle que je me suis mis avait toujours le dessus...

J'ai ralenti un peu en arrêtant peu à peu et en me déconnectant le week-end - moins évident quand on est d'astreinte - car je voyais que je ne tenais plus le rythme. Et j'en suis arrivé, début juin à avoir, chaque semaine, une journée durant laquelle j'avais une phase de mal-être tel que je ne peux désormais plus renier, que oui, je suis en burn-out. Et une conséquence est que depuis début juin je n'ai rien publié sur ce blog que je n'avais écrit avant, je n'ai pas fête les 14 ou 15 ans du blog, je ne sais plus la date...

J'avais depuis longtemps posé des jours pour aller au festival Numérique Passage en Seine, et jusqu'au début de la semaine précédent l'événement, j'hésitais à annuler mes jours de congés pour avancer mon travail, tant j'ai de choses que je voudrais faire... J'ai tenu bon, je suis allé à Passage en Seine, j'ai refait ma conférence Du pseudonymat au pseudonyme en parlant de ce mal-être que je vis.

Du Bore-out au Burn-out

Sans refaire ma conférence et ré-aborder ce que je disais dans mes deux billets de blogs Le métier passion et Tout intellectualiser , celles et ceux qui me suivent depuis quelques années et qui ont suivi mon parcours m'ont vu passé d'une situation de mission placard, avec un bore-out, vers un métier passion et un épanouissement.

Dans les coulisses, il y a eu la reconnaissance de la direction quant à mon travail et mon investissement, en me donnant plus de responsabilités... Mon CV Linkedin parle pour moi. Je me suis alors mis une pression personnelle et un devoir, lié à un sentiment d'être redevable tel que j'en suis arrivé dans une situation où si je devais donner un échelle de 0 à 10, je dirai que 3 correspond à ce que l'on attend réellement de moi quant à mes responsabilités et mon poste, 6 ce que je pense que l'on attend de moi et que j'essaie de donner, 10 ce que je vise pour réussir à améliorer la situation rapidement. Améliorer la situation rapidement... Comme je le dis dans mon billet Devenir SysAdmin d'une PME - Gestion du legacy- Billet n°1 et les autres de la même série, j'ai hérité d'un service qui est ce qu'il est. Et j'ai passé des heures et des heures, par plaisir d'apprendre, par plaisir d'autodidacte et de comprendre, par crainte de ne pas avoir la maîtrise et le contrôle, à travailler encore et encore... pour atteindre le niveau 10. Et quand quelque chose ne marche pas, fatigue moral et physique cumulé aidant, je craque...

Passage en Seine

Passage en Seine, c'est un événement auquel je vais chaque année, depuis quasiment les débuts. J'ai beaucoup appris de mes pairs en suivant leurs conférences, blogs, tutoriaux etc. Avec les années, j'ai appris à connaître les personnes qui viennent, via nos rencontres dans le monde non numérique et nos échanges en ligne.

Depuis longtemps j'avais posé des jours pour aller à Passage en Seine. La semaine précédente je me posais encore la question d'annuler ces congés... Cela montre à quel point je n'étais pas bien... J'ai tenu bon, j'ai maintenu mes jours et j'y suis allé. J'ai rajouté une journée suivant le week-end pour pouvoir souffler un peu et remettre de Passage en Seine. Et alors ? Je vous renvoie vers mes messages sur les réseaux sociaux tagués PSES2018, ils témoignent de l'importance qu'à eu l'événement pour moi. Passage en Seine est pour moi : un moment de retrouvaille avec des personnes que j'ai appris à connaître avec les années, des amitiés d'Internet, des personnes que j'apprécie, qui partagent leurs savoirs... Ma famille des Internet, comme j'aime à les appeler.

Il y a eu beaucoup de moments d'émotions, j'étais à vif, à fleur de peau et j'ai témoigné à quelques-un·e·s d'entre vous des belles choses, je vous ai vu la larme au coin de l'œil, tout comme moi. Mais c'était important pour moi de vous dire ce que je vous ai dit.

Rassurer

Je voudrais rassurer les lecteurs et lectrices que je n'ai pu voir à Passage en Seine. Je me connais bien, je me psychanalyse depuis l'adolescence (je n'ai jamais consulté un professionnel) et j'en suis arrivé à la conclusion, que, entre-autre (car je suis plein de choses comme tout le monde), je suis cyclothymique. Les phases d'euphorie, de joie, cèdent parfois place à des phases de dépression, tel était le cas dans la double personnalité et dualité Genma - Jérôme que j'évoque dans ma conférence. Depuis que j'ai rejoins et fusionner Genma et Jérôme, c'est moins marqué, plus nuancé, et plus dur de voir le problème. Je suis en mode Genma dopé par le travail passion et je me suis fait piégé.

Je veux rassurer, car je n'ai jamais porté atteinte à mon intégrité physique, je ne me blesse pas, mon corps me force à manger, à dormir, je ne prends pas de médicament ou autre donc je ne risque pas grand-chose. Je suis peut-être dans le déni, mais je pense que je peux gérer ça.

Passage en Seine a été une phase de pause, les longs moments de partages, de discussion, de soutien, des uns et des autres, les moments de rigoles, de partage.... Tout ça m'a fait du bien. J'ai appris que c'est partout pareil, que beaucoup des personnes auxquelles je tiens ont vécues ce que je vis, et leurs conseils m'ont aidés et m'aideront.

Conclusion

J'ai pris quelques jours pour souffler, mais je ne peux pas, je ne veux pas prendre deux semaines ou plus d'arrêt maladie, je me sens fors. Je sais que j'ai trois semaines de vacances dans un mois, et ce sera le moment pour reprendre du temps pour moi, de souffler, de ralentir le rythme, de me remettre en question et de comprendre enfin que non je ne peux pas tout régler d'un seul coup, que reprendre et améliorer le S.I. d'une entreprise ça ne se fait pas d'un claquement de doigt mais en plusieurs mois...

Devenir SysAdmin d'une PME - Les sauvegardes- Billet n°4

jeudi 1 janvier 1970 à 01:00

Ce billet fait partie de la série :
- Devenir SysAdmin d'une PME, retour d'expérience - Billet n°0
- Devenir SysAdmin d'une PME - Gestion du legacy- Billet n°1
- Devenir SysAdmin d'une PME - Mineur de bitcoin- Billet n°2
- Devenir SysAdmin d'une PME - Accepter de ne pas avoir le contrôle sur tout- Billet n°3

Introduction

Les sauvegardes... Ah les sauvegardes... Depuis que j'ai eu mon premier ordinateur et que j'ai perdu des données, j'ai appris très rapidement à faire des sauvegardes. Car il y a deux types d'administrateurs systèmes "celui qui a déjà fait un rm -rf /* et celui qui le fera".

J'ai écrit quelques billets au cours des années sur ce sujet, pour aider à savoir quoi sauvegarder etc. je vous mets la liste des principaux billets ici :
- A.I.2 - Qu'est ce que je dois sauvegarder ?
- Sauvegarde la règle des 3-2-1
- L'importance des sauvegardes...
- Sauvegarde et restauration

Dans ce billet, je voudrais parler de quelques trucs sympa sur les sauvegardes.

Borg pour la sauvegarde des fichiers

Nombreux sont les outils pour les sauvegardes de fichers, des scripts maisons à base de rsync en passant par des outils plus évolués comme Duplicty, Rdiffbackup... Dans un précédent billet, j'évoquais Borg comme outil de sauvegarde. Avec les semaines, je reste persuader et convaincu que Borg est l'outil idéal et permet de faire, d'une façon simple, des sauvegardes des fichiers (on exclue le cas des bases de données qui sera traiter dans un billet ultérieur). Et je ne suis pas le seul à le dire. Cet article Sauvegarder ses machines avec Borg et Backupninja présente par exemple les avantages de Borg Contrairement à rdiff-backup qui a un algorithme basé sur rsync et fonctionne par incrémentation de version en version (ce qui interdit notamment de supprimer une version intermédiaire), BorgBackup utilise une technique de déduplication de morceaux (chunks). Au lieu de travailler par fichiers, il concatène (et compresse) tout ce qu'il y a à sauvegarder, pour le stocker par morceaux de 50Mo. Sans rentrer dans les détails, les intérêts sont multiples...

Le but de cette partie n'est pas de faire un tutoriel sur Borg, mais de parler de mon retour d'expérience sur le sujet en quelques mots. Je l'utilise au quotidien pour mes sauvegardes de mon poste professionnel mais également pour différents serveurs. C'est rapide, simple et efficace, pour gérer des sauvegardes de plusieurs gigas en sauvegarde chaque jour (avec peu de fichiers modifiés), ça prends quelques dizaines de secondes. Pour le cas des serveurs, j'ai mis en place un script shell on ne peut plus basique, qui fait appel à Borg. Un script du type de celui-ci est placé en tâche cron lancé chaque nuit. Si besoin, l'avantage de Borg est que l'on peut même faire une tâche cron qui se lance toutes les heures pour avoir une sauvegarde des fichiers toutes les heures. Ca ne prendra pas beaucoup de place et on aura toutes les sauvegardes dont on pourrait avoir besoin...

# on se place dans le répertoire ou l'on veut sauvegarder, qui est un montage d'un espace de stockage dédié partagé par SSH, monté en SSHFS
cd /Backup
# on lance la sauvegarde par borg qui s'effectue par un incrémental
borg create -v --stats ./::`date +%Y-%m-%d-%H:%m:%S` /le_dossier_a_sauvegarder --show-rc -v >> /tmp/mailreport.txt 2>&1

# Purge des anciennes sauvegardes, on garde sur 7 jours, 1 par semaine pendant 4 semaine, 1 par an
borg prune -v --list --keep-daily=7 --keep-weekly=4 --keep-monthly=-12 .

# Pur avoir la liste des sauvegardes dans le mail de rapport de la sauvegarde
echo -e "Liste des Sauvegardes\n" >> /tmp/mailreport.txt
borg list . >> /tmp/mailreport.txt

# envoie du rapport par courriel
sendemail -f expediteur@domaine.com -u "Sauvegarde du serveur XXXX - Daily Report" -t destinataire@domaine.com -s smtp.domaine.com -o message-file=/tmp/mailreport.txt

Pour répondre à la règle des 3, 2, 1, il faut donc avoir une copie externalisée qui est une copie / réplication de l'espace de stockage qui reçoit toutes les sauvegardes. A voir ce que l'on met en place : disque répliqué à l'identique, service de stockage haute-disponibilité...

Sauvegarde de la configuration

Pour l'instant, ce que je fais, c'est un export via Scp de tout /etc des différents serveurs avec la remontée des fichiers de configuration dans un dossier nommé selon le serveur dans un projet dédié dans un Gitlab. Ca se scripte assez bien pour avoir le scp, un git commit... Je fais au plus facile pour l'instant mais je pense. Pourquoi pas Borg ? Car git permet d'avoir l'historique et de comparer facilement les fichiers là où Borg permet de conserver l'ensemble d'une arborescence à un instant t, une sorte de snapshot, mais il faudrait montrer plusieurs sauvegardes pour faire les comparaisons fichier à fichier..

Je réfléchis à la mise en place d'un outil comme Etckeeper pour avoir une autre automatisation, il faut encore que j'étudie ça.
etckeeper est un système conçu pour suivre la configuration d'une machine (répertoire /etc, d'où le nom) à l'aide d'un gestionnaire de versions(par exemple Git).
Deux tutoriaux sur le sujet :
- Etckeeper sur le site de l'association Grenode
- Etckeeper sur le blog Syloe.com

Sauvegarde des bases de données

Du classique, un script, une tâche cron pour faire un export Dump sur un espace de stockage... Je pense que je développerai ce sujet dans un billet une prochaine fois.

Une sauvegarde complète (un snapshot par exemple pour une VM) et des sauvegardes régulières des éléments changeants

Snapshots

Dans mon billet Devenir SysAdmin d'une PME - Gestion du legacy- Billet n°1, je parlais de machines virtuelles sur des hyperviseurs. Je gère ces machines virtuelles comme des serveurs et j'applique donc au fur et à mesure l'homogénéisation de la sauvegarde en mettant Borg en place partout.
Il est important de pouvoir remonter rapidement un service et avec une V.M., c'est assez simple. Un snapshot régulier (je travaille à scripter l'automatisation et la rotation de ces snapshots sur Xen, je ferai un billet sur le sujet), le delta de la VM correspondant à ce qui est sauvegarder de façon journalière. Je n'ai donc qu'à restaurer la VM, à réappliquer les mises à jours de l'OS, éventuellement restaurer les données et les fichiers de configuration et tout est bon.

A noter que je ne considère pas le snapshot comme une sauvegarde mais comme un complément de sauvegarde. Le snapshot ne suffit pas comme la sauvegarde ne suffit pas. Si il faut réinstaller tout une machine avec tous les services... Quoiqu'avec le tournant qu'apporte le Devops et la gestion en mode PAAS, la création de VM à la demande et l'industrialisation à venir... Bref, encore plein d'autres sujets à aborder dans les prochaines semaines et prochains mois... A suivre.