PROJET AUTOBLOG


Le blog de Mitsu

Site original : Le blog de Mitsu

⇐ retour index

Mise à jour

Mise à jour de la base de données, veuillez patienter...

Le futur de hubiC ?

samedi 17 juin 2017 à 01:52

Il y a près d’un mois, j’envoyais le mail suivant au support de hubiC:

Bonjour,

Un récent évènement m’oblige à redéfinir ma politique de sauvegarde et archivage sur les services de stockage cloud: la décision unilatérale par Amazon Drive de révoquer l’accès API au logiciel libre rclone.

J’utilise hubic depuis longtemps (peu après sa création), et hubic reste un service au rapport quantité/prix imbattable (hormis concurrence à stockage « illimité »).

Cependant, hubic évolue peu: la mise en avant commerciale est faible, et l’offre elle-même stagne, me faisant gravement douter de la pérennité du service.

Mais surtout, hubic souffre depuis longtemps de problèmes très handicapants face à la concurrence:

  • débit de transfert limité à 10 Mb/s par IP (en contraste du 360 Mb/s atteint avec Amazon Drive) alors que la fibre optique se démocratise
  • le renommage ou la suppression de grandes quantités de fichiers est extrêmement long (supprimer un dossier de 10000 fichiers: une demi-seconde chez la concurrence, plus d’une heure chez hubic)
  • un hash MD5 ou SHA1 fait cruellement défaut dans l’interface web quand on veut valider l’intégrité des données
  • chaque requête à hubic web déclenche une connexion avec Xiti (alors qu’OVH dispose d’un Piwik maison !), c’est classe uBlock qui signale 850 connexions bloquées quand on veut juste renommer un dossier…
  • un forum de support noyé sous les spams et ressenti comme étant à l’abandon
  • de manière générale, un support focalisé sur le maintien en condition opérationnelle plutôt que sur l’amélioration visible du service

Tout cela est très dommageable pour hubic, alors qu’il reste une excellente solution pour ne pas confier ses données privées à Google/Amazon/Microsoft/Apple/Dropbox et nettement moins cher que Yandex Disk ou Backblaze.

Dans ce contexte, quelles sont les ambitions futures d’OVH au sujet de hubic ? Faites-moi rêver 😉

À ce jour, aucune réponse 🙁  je crois bien qu’ils ont /dev/null.

N’empêche: hubiC a réellement du potentiel, et les défauts que j’ai listé sont loin d’être insurmontables. Sauf que voilà: un service qui ne titille pas la concurrence depuis un certain temps, c’est un service dont on peut se dire « un beau matin ils vont vouloir se focaliser sur un truc plus rentable/stimulant, et donc mettre fin à ce service, peut-être même sans prévenir ».

Cette incertitude me fout franchement des sueurs froides. Depuis des semaines j’ai un VPS qui copie mes archives de hubiC vers Backblaze B2, mais cette copie n’est pas encore finalisée.

Autant pour mes sauvegardes les plus critiques, j’ai 6 exemplaires disponibles (dont 3 hors site)…  mais mes archives titillant les 2 To de poids, bah là elles sont que chez hubiC. Et je serais super triste si je les perdais: de la japanimation difficile à trouver de nos jours, des ISOs, mes jeux GOG/Humble Bundle, …

Et… bruit oblige, si je voulais tout fourrer dans mon NAS, il me faudrait des disques 2.5 pouces bien gras… et chers. Minimum 4 To, soit autour de 250 € l’unité actuellement, et il m’en faut deux pour mon RAID 1. Ça pique trop, et il me faudrait ré-investir rapidement à cause du volume croissant (comparé aux 10 To confortables de hubiC, et le tarif progressif de B2).

Bref, je souhaite que hubiC fasse un petit geste pour confirmer qu’ils sont encore là, et pour encore un bon bout de temps.


EDIT:

EDIT 29/05/2018:

OVH a fermé les nouvelles inscriptions de hubiC, et stoppé son développement.

Caméra de sécurité avec smartphone

lundi 7 novembre 2016 à 11:57

Après avoir lu l’article de Numérama à propos de AtHome, une app Android permettant de faire une caméra de sécurité avec un smartphone, j’ai fait quelques tests et… n’ai pas été très satisfait·e. J’y vois surtout l’utilité pour « garder un œil » sur Bébé pendant son dodo dans sa chambre tout en restant sur le canapé au salon. Les fonctions d’enregistrement etc sont payantes, bien sûr.

Alors j’ai cherché et testé d’autres applications, et ce qui répondait le mieux à mes attentes est IP Webcam couplé avec Filoader.

La configuration est relativement facile mais très complète, il faut nécessairement tester (notamment pour vérifier si la batterie tient la charge !). Tout dépend du smartphone, donc je ne peux que détailler ma config:

L’application  intègre un serveur web, on peut donc consulter la caméra avec un navigateur web, ou VLC, ou plein d’autres options. C’est notamment très pratique pour tester le calibrage de la détection de mouvement ou audio. Flash, vision nocturne, focus, zoom, capture photo, … très pratique. NB: l’accès n’est pas protégé par mot de passe !

 

dfgs

Bon, étape suivante. L’application découpe les enregistrements en séquences de 60 minutes horodatées. Quel est mon besoin ? Je veux mettre en place un dispositif contre les cambriolages. Le flux est trop lourd pour un envoi via internet (j’ai pas la fibre), ça fait du ~100 ko/s montant en permanence, et surtout… une caméra d’intérieur, on veut vraiment pas que ça atterrisse sur un serveur extérieur qu’on ne contrôle pas.

J’ai un serveur NAS, mais dans l’hypothèse d’un cambriolage il se ferait embarquer aussi. Et laisser les enregistrements sur le téléphone implique devoir périodiquement le manipuler. La meilleure solution: .. la Freebox. Il y a de bonnes chances qu’un cambrioleur s’en désintéresse, et elle contient un serveur FTP, et un contrôle parental pour refuser tout accès internet au téléphone. Très bien ! Toutes les heures, le téléphone envoie les enregistrements par FTP sur la Freebox.

À raison de ~300 Mo par heure de jour, et ~50 Mo par heure de nuit, ça nous fait… environ 6 Go d’enregistrements par jour en moyenne. Avec 240 Go dispo dans la Freebox, ça nous fait facilement 1 mois d’archives.

En outre, j’intègre dans mon script de sauvegardes une petite fonction à base de curlftpfs et find pour supprimer les fichiers de plus de 6 jours. Vu que j’exécute ce script manuellement, j’ai pas à craindre de vidange automatique malheureuse d’enregistrements intéressants.

Enfin… dissimuler le téléphone. Pour ce faire, j’ai utilisé un petit carton dans lequel j’ai percé un trou pour l’objectif, et dans sa face intérieure j’ai collé une pochette bricolée dans laquelle je glisse le téléphone. J’ai aussi coupé un « canal » au cutter pour faire passer le câble du chargeur en dessous et derrière le carton, d’où il descend un meuble jusqu’à la prise électrique. Discret, anodin, efficace 🙂  Période d’observation et test, vérifier si le téléphone surchauffe pas, s’il consomme moins que la vitesse de charge de la batterie, …

Et voilà ^^

Note de fin: c’est un sentiment un peu bizarre, je me sais « observé » par une caméra même si c’est moi qui en ai le contrôle. J’ai mis cela en place dans l’hypothèse d’un cambriolage sachant que je m’en voudrais d’avoir eu la possibilité technique d’avoir la tronche de l’auteur, le cas échéant. Et pourtant. Je sais mon sentiment complètement irrationnel, sachant que tout smartphone allumé est un potentiel micro-caméra espion contenant pléthore de capteurs divers et données pouvant servir à traquer la vie privée de l’utilisateur, et un smartphone allumé, bah.. j’en ai un de toute manière.

Sur la haine

lundi 1 août 2016 à 22:49

CNGBcioXAAA8IBE

Du nécessaire débat sur la réduction du labeur humain

samedi 27 février 2016 à 17:59

Sentiment étrange que de voir une corrélation entre le prolongement de l’état d’urgence en France, et la présentation d’un avant-projet de loi de réforme du code du travail quelques jours plus tard. Entre d’un côté l’interdiction possible de manifestations publiques même pacifiques, et de l’autre un texte au contenu proprement hallucinant, porté par une ministre déjà écornée dans « l’opinion publique » par sa méconnaissance du nombre de renouvellements possibles d’un contrat à durée déterminée.

Mais passons. Je laisse à mes confrères et consœurs blogeurses le soin d’entrer dans les détails de cet avant-projet de loi travail, expliquant en quoi il s’agit d’un recul des droits sociaux, un renforcement de la précarité des classes pauvres et moyennes, un suicidaire message politique, et surtout un non-sens économique même dans les modèles du XXe siècle. Et ce d’autant plus que je n’aurais pas à en subir les conséquences directes, mes dépendances financières étant peu rattachées à la santé commerciale et industrielle du pays. Je tenais à prendre de la hauteur, avoir une vue d’ensemble du présent, et pouvoir regarder vers les futurs possibles.

L’évolution technologique peut être motivée par deux grands objectifs, à des proportions variables: l’intérêt économique, et l’intérêt humain. Le capitalisme est souvent associé exclusivement (à tord) au progrès technologique, plaçant l’intérêt humain comme étant la conséquence de l’intérêt économique. On peut parfois voir de manière très explicite cette conception des choses, par exemple lorsqu’un producteur de disques affirme que sans vente de musique, les artistes ne pourraient pas en vivre et donc qu’il n’y aurait pas d’artistes. Mais c’est souvent ce producteur de disque là qui refuserait fermement les concepts comme les licences Creative Commons, alors que celles-ci renforcent les pouvoirs des artistes tout en donnant des libertés et droits au public.

Nous vivons une époque formidable. Car à défaut d’être joyeuse, elle nous amène à penser, à réfléchir, à remettre en question, à réinventer. Sous l’impulsion d’entreprises privées souvent, mais pas que. Régulièrement, je vois apparaitre ici une étude sur la proportion d’emplois qui seraient assurés par des robots, là une actualité sur les progrès réalisés par les concepteurs de voitures sans chauffeurs ou de drones de livraison. Le progrès technologique est exponentiel, au-delà d’une courbe suivant la loi de Moore, posant des défis bien plus difficiles et complexes qu’une simple mission habitée sur la planète Mars. Car c’est de modèles économiques et sociaux qu’il s’agit, touchant 8 milliards de créatures individuellement avides.

Je souriais récemment encore du conflit opposant l’entreprise Uber et ses chauffeurs VTC à l’entreprise G7 et ses taxis parisiens. L’entreprise Uber ne se développe pas bien du tout au Japon, vous savez pourquoi ? Parce que la clientèle est satisfaite du service des taxis pré-existant. Il n’y a donc pas de « rupture », pas de progrès sensible possible dans l’immédiat. Tandis qu’à Paris… je pourrais consacrer un article entier sur le nombre et la variété des critiques communément adressées aux taxis. Mais il ne faut surtout pas perdre de vue qu’Uber gère ses finances exactement comme Google, Amazon, etc: dégager une rentabilité maximale au plus vite, et réinvestir un maximum des bénéfices. Ainsi, l’entreprise paye peu d’impôts et peut développer de nouveaux produits. Un concept économique qui semble mieux marcher que le « modèle français » où pour développer un produit précis, une entreprise est choisie et touche des financements publics. Oui je pense à toi, feu « Cloud Souverain ». Toujours est-il qu’Uber investit tout ce qu’il peut dans la conception de voitures sans chauffeur, et bien qu’ils communiquent peu dessus (contrairement à Google), je pense vraiment qu’ils peuvent réussir à mettre au point un produit très fonctionnel et appuyer la modification de la législation pour permettre son usage, mieux que ce que pourrait faire Google ou Tesla ou Toyota. Ou plutôt: les uns la conception de la voiture, les autre la conception du logiciel. IBM et Microsoft. Une recette qui a déjà marché par le passé, pour un produit que le grand public attend impatiemment.

Ce matin, j’ai eu droit à une énième déception causée par La Poste. Et vous n’êtes épargnés de lire de lourdes injures publiques envers cette société que parce qu’ils effectuent, à l’heure actuelle, des essais de livraison par drone. Alors je voyais plus tôt ce jeune galérant sur son vélo jaune chargé de sacoches pleines de courriers non électroniques tandis qu’il montait une côte, et je me suis dit: « encore un petit boulot bientôt remplacé par des drones, capables de vous livrer courriers et colis à toute heure, directement chez vous, en moins de 10 minutes, à la demande de l’utilisateur ». Et puis Amazon qui conçoit aussi des drones et s’intéresse à tout ce qui est alimentaire, je me dis que livreur de pizzas est aussi un petit boulot appelé à disparaitre. Peut-être même que des géants tels McDonalds se retrouveraient avec des pieds d’argile…

Je regarde autour de moi, et je peine à trouver des boulots qui ne pourraient pas être assurés aussi bien voire mieux par des robots et l’IA. Même ce qui est artistique. Même ce qui est médical. Même ce qui est sexuel. Même ce qui est politique. Même ce qui est juridique. Même le présent blog pourrait être rédigé par une IA, reposant sur un réseau neuronal ayant analysé mes opinions passées voire la structure-même de mon cerveau afin d’en imiter et surpasser ma pensée. Tournis.

La logique du capitalisme repose sur la réduction des coûts. Les entreprises peuvent remplacer les employés humains par des employés d’IA, et elles vont le faire, massivement, très bientôt. À court terme, voici l’équation envisageable:

  1. le produit est crée, avec des coûts minimisés grâce à la robotique
  2. le produit est vendu très peu cher au grand public
  3. le grand public dépend financièrement d’un revenu universel réparti équitablement
  4. le revenu universel est alimenté par une taxe
  5. la taxe s’applique sur les revenus (et non les bénéfices) générés par l’entreprise faisant travailler des robots

Voici les éléments qui vont forcer l’application de ce genre de modèle:

L’inconnue là dedans, c’est la réaction de la population. En effet, « papy boom » oblige, de nombreuses personnes vont atteindre bientôt l’âge de la retraite. Or, il y aura (et il y a déjà) bien trop peu d’employés (et donc de cotisants) pour maintenir les caisses d’assurance retraite, et le renflouement par un Etat déjà déstabilisé par la baisse des impôts (notamment sur le revenu, décroissant) et des taxes (notamment la TVA, alors que les prix baissent). Pire: l’espérance de vie étant croissante et progrès médical aidant (cellules souches, tout ça), un papy-boomer peut raisonnablement s’attendre à passer la moitié de sa vie à la retraite. Le modèle actuel est catastrophique. Or, et c’est là que ça va faire mal:

Oui, la transition sera ressentie comme étant injuste envers eux. Malheureusement je ne vois pas beaucoup d’autres alternatives plus acceptables. Je vous laisse imaginer la conséquence d’une saisie arbitraire de tous les livrets d’épargne, par exemple, alors que les papy-boomers sont « assis dessus » en vue d’en faire un héritage pour leurs descendants, alors que l’héritage est un patrimoine très inéquitable. Or celles et ceux qui ont les livrets les mieux garnis sont aussi ceux qui touchent le plus de pension retraite, donc c’est peut-être par cette piste-là que le revenu universel de base serait accepté.

Quid du labeur humain donc, remplacé avantageusement par des robots ? Risque t-on de se retrouver dans une société fainéante et incompétente, dépendante des robots, gouvernée par les robots ? Question complexe.

Que les humains vont soudainement ne plus rien faire après que les robots soient capables de s’auto-améliorer, j’y crois pas un seul instant: les humains ne supportent pas l’ennui. À divers degrés, les humains ressentent le besoin d’apprendre, de découvrir, de créer notamment de l’art. N’étant plus enchainés au besoin économique, je prophétise que les humains auront le temps et l’envie d’apprendre, toujours davantage, et la robotique sera là pour développer toujours de nouvelles technologies qu’on pourra admirer et apprendre au quotidien. Ce qu’on y perdrait ? Disparition des prix Nobel, car plus d’humains à récompenser. À moins que le prix Nobel pourra récompenser des algorithmes, féliciter des robots. La profusion de connaissances et technologies sera telle que les humains vont se spécialiser d’eux-même par préférence personnelle, et donc l’humanité sera plus compétente que jamais, capable de restaurer toute son infrastructure en très peu de temps suite à un vent solaire ayant fait griller tous les robots par exemple, exactement comme une fourmilière qui répare les dégâts avec une efficacité déconcertante quand un enfant humain donne un coup de pied dedans.

Les humains, gouvernés par des robots ? Ne rigolez pas, on en a eu très récemment un prémisse en la personne de Jean-Luc Mélenchon, utilisateur et promoteur de NationBuilder. Si NationBuilder est à peine une IA d’assistance aux politiciens en campagne, l’idée d’un gouvernement entièrement IA est plausible… voire souhaitable. J’en ferais presque un slogan: imperium ex silicium.

Est-ce que notre génération saura relever ce défi ? Humains, surprenez-moi !

Sauvegardes incrémentielles avec Attic Deduplicating Archiver

lundi 10 août 2015 à 01:05

Attic est un programme Python développé par Jonas Borgström. Il permet de réaliser des sauvegardes incrémentielles, compressées, chiffrées et morcelées. Concrètement ça se passe ainsi:

  1. une première sauvegarde complète
  2. la seconde sauvegarde ne contient que les fichiers changés depuis la sauvegarde complète
  3. la troisième sauvegarde ne contient que les fichiers changés depuis la seconde
  4. la sauvegarde N ne contient que les fichiers changés depuis la sauvegarde N-1

Lors du processus de restauration, on peut choisir quelle sauvegarde restaurer. Un fichier a été effacé par erreur jeudi, la sauvegarde a lieu tous les vendredis, et on est samedi ? Pas de souci: on peut récupérer le fichier depuis la sauvegarde du vendredi de la semaine précédente.

Une sauvegarde, on en a quasiment jamais besoin. Mais c’est quand on en a besoin qu’on enrage de ne pas avoir fait de sauvegarde. Heureusement pour moi j’utilise différentes méthodes de sauvegarde afin de me donner une redondance double, je n’ai eu à faire appel à Attic qu’une seule fois, précisément pour une question de fichier effacé 3 semaines avant (sachant que mes sauvegardes locales sont des anti-hardware-crash hebdomadaires).

Mon cas

Dans ma stratégie actuelle, Attic a le rôle suivant:

/home → Attic → disque dur secondaire → Attic → DD sauvegarde 1 → DD sauvegarde 2
···································  → hubiC
···································· → Mega

Les dossiers utilisateur me sont en effet absolument précieux, il me les faut donc décompressés sur mes 2 disques durs externes de sauvegarde locale et chiffrés sur le DD secondaire et 2 services de stockage en cloud différents (pour pallier au risque d’arrêt du cloud).

Le détail sur les sauvegardes

Attic traite les données et les stocke dans un dépôt (repository). Ça peut être un dossier local, ou distant (avec sshfs, ou de Attic à Attic via ssh). Attic y stocke 3 fichiers importants:

X étant un chiffre que je devine être le nombre de morceaux traités. hints et index sont des blobs binaires sans doute chiffrés. Il s’agit ici des fichiers d’indexation des sauvegardes, Attic les inclut dans le dépôt ce qui est un bon procédé (contrairement à Duplicity qui les stockait dans .cache, ce qui provoque beaucoup de drames car sans ces index les sauvegardes sont difficilement exploitables)

Et puis il y a un dossier data, un/des sous-dossiers, et là dedans les morceaux des sauvegardes, avec comme nom des chiffres. Blobs binaires, de 5 Mo par défaut.

Usage de base

La documentation de Attic est très complète, sauf que.. en anglais seulement. Concrètement les commandes:

Quelques recommandations et incidents

Si vous envoyez vos sauvegardes sur un/des services externes, il est indispensable de les chiffrer. Pensez-y avant car cela est défini à l’étape d’initialisation du dépôt. Attic chiffre en AES-256 donc si vous avez une phrase de passe solide (20 caractères ou plus) ou un fichier-clé qui ne risque pas la corruption, vous êtes tranquille.

Les noms des points de sauvegarde: je vous recommande fortement d’indiquer la date.

Le dossier « data » et son contenu ne doivent pas être modifiés par d’autres programmes que Attic. Exemple: j’ai mentionné précédemment que j’utilise Mega, via le logiciel MegaSync (qui fait une synchro à double sens). Et bien puisque Attic prune (supprime) les points de sauvegarde anciens alors que MegaSync n’est pas lancé, ce dernier va au lancement suivant retélécharger les fichiers des points de sauvegardes supprimés ! Attic vous signalera une corruption du dépôt. Heureusement c’est facilement corrigé avec check –repair, Attic supprime les fichiers en trop et nettoie. Par rapport à ça, j’ai inclus dans mon script de sauvegarde un contrôle bloquant: tant que MegaSync n’est pas lancé et prêt à synchroniser les modifications qui seront apportées par Attic, Attic n’est pas exécuté.

Le chiffrement: l’utilisation d’un fichier-clé peut être dangereuse, car ce fichier doit impérativement ne jamais être altéré du moindre bit.. et si ce fichier est nommé « chiffrement-attic » ou autre truc explicite, n’importe qui ayant accès au PC devinera à quoi il sert et pourra accéder aux sauvegardes. C’est pourquoi je préfère les phrases de passe. Cependant j’automatise cela au sein du script avec la commande export ATTIC_PASSPHRASE, donc le script lui-même devient le point faible.

Mon exemple de script de sauvegarde

Il est exécuté par un script-maitre appelé par crontab, et procède tous les 6 jours.

#!/bin/bash
# restore: attic extract $REPOSITORY::(date)
# list: attic list $REPOSITORY(::date)
locker='~/Bureau/attic_cron.lock'
locker1='~/Bureau/please_start_megasync.lock'
locker2='~/Bureau/attic_working.lock'
timermaxage="518400"
sourcefolder='~/'
ATTIC_PASSPHRASE="Entrer ici une phrase de passe solide"
export ATTIC_PASSPHRASE
REPOSITORY='/tmp/home.attic'
timer="$REPOSITORY/timer"
curdate=$(date +%s)
if [ -f $timer ]; then
lastexec=$(stat -c %Y $timer)
echo "timer trouvé, lastexec: $lastexec"
else
lastexec="0"
echo "timer non trouvé"
fi
calcdiff=$(($curdate-$lastexec))
if [ -f $locker ]
then exit
else
touch "$locker"
if [ $calcdiff -gt $timermaxage ]; then
touch "$locker1"
ps ax | grep -v grep | grep megasync > /dev/null
while [ $? != 0 ]; do
sleep 1
ps ax | grep -v grep | grep megasync > /dev/null
done
rm "$locker1"
sleep 13 # on laisse un peu de temps pour connexion MegaSync
touch "$locker2"
attic create --stats $REPOSITORY::`date +%Y%m%d` $sourcefolder
attic prune -v $REPOSITORY --keep-daily=4
rm "$locker2"
touch "$timer"
fi
rm "$locker"
fi

Si vous n’utilisez pas MegaSync, vous pouvez zapper tout ce qui le concerne. Le timer et les verrous (locks) aussi si vous exécutez le script manuellement. Le timer de 518400 secondes ça correspond à 6 jours (le délai entre 2 points de sauvegarde).

Pour ce qui est d’Attic, il crée des points de sauvegarde nommés par exemple « 20150809 ». Avec la commande « attic list » il affiche pour chaque point de sauvegarde la date et l’heure précise, mais bon. Si les noms sont cohérents et prévisibles, faire des trucs comme l’extraction automatisée ça devient plus facile (ce qui se passe chez moi, la sauvegarde la plus récente (attic list $REPOSITORY | tail -n1 | head -c8) étant extraite vers mes disques durs externes  -au passage ça teste donc l’intégrité de la sauvegarde)

« attic prune » avec comme paramètre –keep-daily=4. J’ai besoin d’expliquer ? Cette commande supprime tous les points de sauvegarde précédents SAUF les 4 plus récents. Ce qui dans mon cas me donne une marge jusqu’à 4*6 = 24 jours d’historique, ça me convient.

Adaptez à votre sauce !

Feed is invalid - XML error: