Je sais qu'une solution propriétaire comme Networker fait de la déduplication à la source (comme rsync qui envoi les hashs puis les données si la cible n'a pas le contenu du hash) et à la cible (comme bup qui stocke en dédupliqué).
Ce que tu nommes un catalogue - que l'on appellerai plutôt un index car le terme catalogue est plus réserve à l'endroit où l'on (humain ou logiciel de restauration) peut consulter la liste des sauvegarde disponibles à la restauration - n'est pas nécessaire mais peut accélérer l'identification des delta à la source.
Je cherche une solution ouverte qui fasse de même.
Je ne trouve pas de documentation concernant Bacula qui expliquerai qu'il fait de la déduplication, à la source ou à la cible. Alors que bup et rsync sont très explicites là dessus.
J'imagine surtout que c'est la façon la plus simple de diffuser sont applications, en particulier avec les outils de développement fournis pas ggl, donc que la plupart des éditeurs n'en chercher pas d'autres.
Seuls ceux sensibilisé au libre font l'effort, en particulier avec Fdroid.
Et donc que la plupart s'en fout que tu l'obtienne de façon détournée (mais toujours depuis le playstore dans mon cas).
J'ai rencontré une application qui ne voulait pas s'exécuter car ne trouvant pas le playstoreservice. Tant pis pour elle, elle a dégagé.
Pour ma part, je n'irai pas installer des apk trouvés dans la nature ; trop dangereux, comme un exe pour un PC.
En vrai : "important" ne reprend pas tous les mails mais ceux considérés comme important (après apprentissage, comme pour les spams).
"inbox" reprend tous les mails entrant
"[Gmail]/All Mail" reprends tous les mails (c'est celui que je backup régulièrement).
Mon problème est que K9 fait des notifs sur "Inbox" alors que je voudrais qu'il les fasse sur "important" donc aussi et surtout sur des mails pas importants qui ne méritent pas de notif.
la probabilité de collisions est gouvernée par le paradoxe des anniversaires : elle est dans ce cas ridiculement faible.
Tout à fait d'accord.
D'autant qu'il y a une différence entre "casser" qui consiste à provoquer une collision et "rancontrer" une collision qui consiste surtout à "pas de bol".
Pour tout dire, ma solution est encore un peu bancale puisque j'ai encore ma principale boite mail perso chez Ggl. Et K9 se débrouillait très mal avec les dossiers un peu particulier d'une boite gmail : impossible de lui faire comprendre que le dossier principal est "important" et pas "inbox". Du coup, j'utilise l'application de base android qui n'est pas pire.
Par contre j'ai déjà mes contacts, agenda et fichier synchro sur mon propre owncloud et ça ça rocks !
Bref, c'est en cours…
J'ai réinstallé mon téléphone en cyano + fdroid + firefox + ddg il y a neuf mois. Donc sans ggapps.
Résultat Google n'a pas vu mon téléphone depuis ce jour. Les mises à jour sont régulières et le système bien plus stable qu'avant.
Les seules limitations sont les applications uniquement présentes sur le ggstore, mais ça se contourne, et les mails en IMAP un peu moins ergonomique que l'application gmail.
Bien sur, il ne faut pas compter sur les constructeurs pour avoir ce type de solutions, c'est à faire par soi même. Comme pour les PC en somme.
Est ce qu'il existe une méthode qui tirerait partie de rsync (ou similaire) pour sauvegarder un serveur distant directement dans un format dé-dupliqué ?
Autrement dit, sans avoir à passer par une copie locale (rsync puis bup) ni lire l'ensemble des données par le réseau (RemoteFS + bup) ?
Mais justement tu ne la trouvera pas si tu n'as pas de gestion de collisions. Tu aura juste un bloc qui prendra la place d'un autre car le système de dédup aura été trompé.
Tu es en train de dire qu'il y a un SHA256 par défaut et un autre ?
SHA256 produit pas mal de collisions
Tout hash produit forcément des collisions puisqu'il réduit l'information. Les algorithmes plus récents tentent de réduire cette probabilité en étant plus malin et surtout en allongeant la taille du hash. Le "pas mal" n'étant pas mesurable,à toi de te faire un idée.
On peut donc supposer que ces systèmes n'ont pas d'ECC
Oui on peut supposer… Ou alors le mettre en hypothèse quand on affirme "Elle l'est autant que sans dé-duplication.". Ce qui aide à comprendre ton premier commentaire.
J'ai 1Mbps upstream sur mon ADSL et j'utilise Owncloud pour de la synchro/sauvegarde. Comme c'est au fil de l'eau, ça marche très bien.
Bien sûr, je ne synchronise que de la bureautique et des phots, pas de vidéo par ex.
Ton besoin est de créer, modifier, lire, détruire (CRUD) des informations.
C'est la définition d'une base de données.
Il y a mille solutions pour l'implémenter.
Le choix dépend beaucoup de comment tu vas organiser tes données et des fonctionnalités que tu souhaites.
Un système de fichiers est un moyen de stocker de l'information sous forme hiérarchique (un dossier contient des sous-dossiers et des fichiers, un sous-dossier est un dossier qui contient des sous-dossier et des fichiers, etc.).
L'information se retrouve par le chemin. L'information élémentaire est un fichier. Par exemple un image.
Par extension, un système de fichiers peut être une base de données clé-valeur. La clé est le chemin, la valeur le contenu du fichier. Par exemple, un fichier peut porter comme nom le nom du client et contenir les informations client (adresse, tel, etc.) dans un format quelconque (JSON, Pickle, MessagePack etc.). Tu peux en effet, créer, lire, modifier et supprimer un fichier. Mais il y a des limitation : un fichier fait au moins 4kB et stocker peu d'information dans chaque fichier conduit à de la perte d'espace. Le nombre de fichier dans un dossier est limité ou rend la consultation lente pour un grand nombre de fichiers (même si il y a des contournement). Et surtout, il n'est pas facile de retrouver rapidement une information (quel client a le numéro 0123456789 ?). Il faut alors indexer l'information avec un autre système (moteur de recherche).
Un gros fichier seul n'est pas une base de données. Un CSV n'est pas une base de donnée car tu ne peux pas créer, lire, modifier, supprimer un enregistrement sans lire tout le fichier et ré-écrire tout le fichier. C'est un format d'échange de données (Export/Import).
Un point important lorsque tu choisis un système de base de données est que le langage de programmation que tu utilises puisse y accéder. La grande majorité est compatible avec Python. Et d'ailleurs, je te recommande de commencer ici.
Heu la marche est très grande entre exploiter une faille d'un logiciel pour avoir les mêmes droits que l'utilisateur qui l'a lancé et exploiter par la suite une faille du noyau pour devenir root sur le système.
J'observe que pour web, les gros acteurs de services (GG, FB) tirent partie des standards et poussent donc fortement à leur modernisation : HTTP2, webgl, webrtc, Webassembly, brotli. Et de client web (Moz, GG) suivent le mouvement.
Dans le domaine du conversationnel, chacun y va de sa propre technologie. Et les tentatives de standardisation (XMPP) peinent voire régressent en adoption (GG, FB :/).
Peut être est-ce que la problématique est plus compliquée à traiter (+ de fonctionnalités). Le fait aussi que tout le monde a un navigateur web mais pas un client xmpp reverse un peu la position de force. Et puis la messagerie instantanée est lié à une gestion de l'identité. Si l’icône "chat" sous android ou ios était un client xmpp, comme l’icône "email" est un client imap, le xmpp serait plus répandu. Et les services centralisés veulent garder la main sur l'identité de l'utilisateur.
Je ne partage mais alors pas du tout.
Apprendre plusieurs langage permet de ne pas tomber dans les travers d'un seul.
Tu peux mieux coder en C en apprenant un langage fonctionnel.
Ensuite la métrique du temps de dev est ridicule si tu ne mais aucun critère de qualité.
Tout problème se code en 5 minutes en allant sur SO.
Mais de là à bien avoir un code suffisamment efficace en ressources, adapté à tes cas limites, maintenable dans le temps ; ça demande beaucoup plus.
Et puis c'est comme parler une seule langue. Si tu dois bosser sur un projet qui a fait un choix de langage différent du tien, t'es marron. Et un projet dans un seul langage, déjà c'est rare.
IMHO, il serait plus constructif de commencer à coder que de regarder des conférences boiteuses.
curl est plus conçu pour interagir avec un serveur web. Par exemple il peut faire du POST, du PUT, du HEAD, et toutes les opérations prévues en HTTP et bien utiles en architecture REST.
Donc en théorie ton besoin correspond plus à curl. Mais en pratique les deux font très bien le job pour toi. IMHA, utilise celui qui est présent de base sur ton système.
Et que les gars nous ont promis :
une licence MS Office - une seule, pour les trois postes du service - pour pallier l'incompatibilité OOo/LO.
Donc l'éditeur a promis une licence MSoffice parce qu'il n'a pas été capable d'implémenter une fonction présente sur la plaquette commerciale. Et donc ne sais pas générer un document ODS.
Pas de quoi incriminer LO donc.
[^] # Re: android et android by google
Posté par steph1978 . En réponse au journal Android: position dominante et navigateurs alternatifs. Évalué à 2.
Exact, c'est proposé, mais en pratique, cela ne fonctionnait pas. Peut être qu'il n'y a pas le choix pour Inbox, je ne me rappelle plus trop.
[^] # Re: remote : rsync + dedup ?
Posté par steph1978 . En réponse au journal zpaq : backup incrémental avec déduplication . Évalué à 1.
Je sais qu'une solution propriétaire comme Networker fait de la déduplication à la source (comme rsync qui envoi les hashs puis les données si la cible n'a pas le contenu du hash) et à la cible (comme bup qui stocke en dédupliqué).
Ce que tu nommes un catalogue - que l'on appellerai plutôt un index car le terme catalogue est plus réserve à l'endroit où l'on (humain ou logiciel de restauration) peut consulter la liste des sauvegarde disponibles à la restauration - n'est pas nécessaire mais peut accélérer l'identification des delta à la source.
Je cherche une solution ouverte qui fasse de même.
Je ne trouve pas de documentation concernant Bacula qui expliquerai qu'il fait de la déduplication, à la source ou à la cible. Alors que bup et rsync sont très explicites là dessus.
[^] # Re: android et android by google
Posté par steph1978 . En réponse au journal Android: position dominante et navigateurs alternatifs. Évalué à 2.
Je ne me suis pas penché sur la question.
J'imagine surtout que c'est la façon la plus simple de diffuser sont applications, en particulier avec les outils de développement fournis pas ggl, donc que la plupart des éditeurs n'en chercher pas d'autres.
Seuls ceux sensibilisé au libre font l'effort, en particulier avec Fdroid.
Et donc que la plupart s'en fout que tu l'obtienne de façon détournée (mais toujours depuis le playstore dans mon cas).
J'ai rencontré une application qui ne voulait pas s'exécuter car ne trouvant pas le playstoreservice. Tant pis pour elle, elle a dégagé.
Pour ma part, je n'irai pas installer des apk trouvés dans la nature ; trop dangereux, comme un exe pour un PC.
[^] # Re: android et android by google
Posté par steph1978 . En réponse au journal Android: position dominante et navigateurs alternatifs. Évalué à 3.
Woua, je vais battre ma coulpe alors…
En vrai : "important" ne reprend pas tous les mails mais ceux considérés comme important (après apprentissage, comme pour les spams).
"inbox" reprend tous les mails entrant
"[Gmail]/All Mail" reprends tous les mails (c'est celui que je backup régulièrement).
Mon problème est que K9 fait des notifs sur "Inbox" alors que je voudrais qu'il les fasse sur "important" donc aussi et surtout sur des mails pas importants qui ne méritent pas de notif.
[^] # Re: Collision
Posté par steph1978 . En réponse au journal zpaq : backup incrémental avec déduplication . Évalué à 3.
Tout à fait d'accord.
D'autant qu'il y a une différence entre "casser" qui consiste à provoquer une collision et "rancontrer" une collision qui consiste surtout à "pas de bol".
[^] # Re: android et android by google
Posté par steph1978 . En réponse au journal Android: position dominante et navigateurs alternatifs. Évalué à 4.
Pour tout dire, ma solution est encore un peu bancale puisque j'ai encore ma principale boite mail perso chez Ggl. Et K9 se débrouillait très mal avec les dossiers un peu particulier d'une boite gmail : impossible de lui faire comprendre que le dossier principal est "important" et pas "inbox". Du coup, j'utilise l'application de base android qui n'est pas pire.
Par contre j'ai déjà mes contacts, agenda et fichier synchro sur mon propre owncloud et ça ça rocks !
Bref, c'est en cours…
[^] # Re: android et android by google
Posté par steph1978 . En réponse au journal Android: position dominante et navigateurs alternatifs. Évalué à 7.
Je plussois.
J'ai réinstallé mon téléphone en cyano + fdroid + firefox + ddg il y a neuf mois. Donc sans ggapps.
Résultat Google n'a pas vu mon téléphone depuis ce jour. Les mises à jour sont régulières et le système bien plus stable qu'avant.
Les seules limitations sont les applications uniquement présentes sur le ggstore, mais ça se contourne, et les mails en IMAP un peu moins ergonomique que l'application gmail.
Bien sur, il ne faut pas compter sur les constructeurs pour avoir ce type de solutions, c'est à faire par soi même. Comme pour les PC en somme.
# remote : rsync + dedup ?
Posté par steph1978 . En réponse au journal zpaq : backup incrémental avec déduplication . Évalué à 2.
Est ce qu'il existe une méthode qui tirerait partie de rsync (ou similaire) pour sauvegarder un serveur distant directement dans un format dé-dupliqué ?
Autrement dit, sans avoir à passer par une copie locale (rsync puis bup) ni lire l'ensemble des données par le réseau (RemoteFS + bup) ?
[^] # Re: Alternatives
Posté par steph1978 . En réponse au journal zpaq : backup incrémental avec déduplication . Évalué à 2. Dernière modification le 09 mai 2016 à 11:52.
Ou comment s'auto-sourcer…
Mais justement tu ne la trouvera pas si tu n'as pas de gestion de collisions. Tu aura juste un bloc qui prendra la place d'un autre car le système de dédup aura été trompé.
[^] # Re: Collision
Posté par steph1978 . En réponse au journal zpaq : backup incrémental avec déduplication . Évalué à 1.
Tu es en train de dire qu'il y a un SHA256 par défaut et un autre ?
Tout hash produit forcément des collisions puisqu'il réduit l'information. Les algorithmes plus récents tentent de réduire cette probabilité en étant plus malin et surtout en allongeant la taille du hash. Le "pas mal" n'étant pas mesurable,à toi de te faire un idée.
[^] # Re: Collision
Posté par steph1978 . En réponse au journal zpaq : backup incrémental avec déduplication . Évalué à 1.
Oui on peut supposer… Ou alors le mettre en hypothèse quand on affirme "Elle l'est autant que sans dé-duplication.". Ce qui aide à comprendre ton premier commentaire.
[^] # Re: bande passante montante ?
Posté par steph1978 . En réponse au journal Du stockage en ligne (encore). Évalué à 2.
J'ai 1Mbps upstream sur mon ADSL et j'utilise Owncloud pour de la synchro/sauvegarde. Comme c'est au fil de l'eau, ça marche très bien.
Bien sûr, je ne synchronise que de la bureautique et des phots, pas de vidéo par ex.
# paradigme
Posté par steph1978 . En réponse au message Fichiers textes et binaires. Évalué à 4.
Ton besoin est de créer, modifier, lire, détruire (CRUD) des informations.
C'est la définition d'une base de données.
Il y a mille solutions pour l'implémenter.
Le choix dépend beaucoup de comment tu vas organiser tes données et des fonctionnalités que tu souhaites.
Un système de fichiers est un moyen de stocker de l'information sous forme hiérarchique (un dossier contient des sous-dossiers et des fichiers, un sous-dossier est un dossier qui contient des sous-dossier et des fichiers, etc.).
L'information se retrouve par le chemin. L'information élémentaire est un fichier. Par exemple un image.
Par extension, un système de fichiers peut être une base de données clé-valeur. La clé est le chemin, la valeur le contenu du fichier. Par exemple, un fichier peut porter comme nom le nom du client et contenir les informations client (adresse, tel, etc.) dans un format quelconque (JSON, Pickle, MessagePack etc.). Tu peux en effet, créer, lire, modifier et supprimer un fichier. Mais il y a des limitation : un fichier fait au moins 4kB et stocker peu d'information dans chaque fichier conduit à de la perte d'espace. Le nombre de fichier dans un dossier est limité ou rend la consultation lente pour un grand nombre de fichiers (même si il y a des contournement). Et surtout, il n'est pas facile de retrouver rapidement une information (quel client a le numéro 0123456789 ?). Il faut alors indexer l'information avec un autre système (moteur de recherche).
Un gros fichier seul n'est pas une base de données. Un CSV n'est pas une base de donnée car tu ne peux pas créer, lire, modifier, supprimer un enregistrement sans lire tout le fichier et ré-écrire tout le fichier. C'est un format d'échange de données (Export/Import).
Un point important lorsque tu choisis un système de base de données est que le langage de programmation que tu utilises puisse y accéder. La grande majorité est compatible avec Python. Et d'ailleurs, je te recommande de commencer ici.
[^] # Re: Exploit tout simple
Posté par steph1978 . En réponse au journal Faille dans ImageMagick. Évalué à 3.
Heu la marche est très grande entre exploiter une faille d'un logiciel pour avoir les mêmes droits que l'utilisateur qui l'a lancé et exploiter par la suite une faille du noyau pour devenir root sur le système.
D'ailleurs ce type de failles milite beaucoup pour un containment des applications utilisateurs pour limiter la portée d'une faille.
# 64bit
Posté par steph1978 . En réponse à la dépêche Sortie de Proxmox VE 4.2 . Évalué à 1.
Damned mon petit serveur 32bit est exclus de ce type de technologies. Pareil pour Docker. Je ne peux jouer qu'avec LXC.
[^] # Re: VMs WINDOWS, Proxmox ou autre?
Posté par steph1978 . En réponse à la dépêche Sortie de Proxmox VE 4.2 . Évalué à 3.
Et du coup, pourquoi tu essayes pas d'en mettre une 6ème pour voir ?
[^] # Re: pourquoi se compliquer la vie avec une boucle shell et un sed tordu
Posté par steph1978 . En réponse au message CSH : Remplacement de mots dans un fichier à partir d'un fichier CSV de correspondance. Évalué à 3.
Je plussois car awk est mon outil favori pour ce genre d'opérations.
Surtout qu'il possède une extension xml particulièrement puissant.
[^] # Re: petit algo à traduire en langage de ton choix
Posté par steph1978 . En réponse au message CSH : Remplacement de mots dans un fichier à partir d'un fichier CSV de correspondance. Évalué à 2.
Comment réagit sed face à un script de 36000 lignes par rapport à implémentation en lookup table ?
[^] # Re: Faiblesses de XMPP
Posté par steph1978 . En réponse à la dépêche Les trois générations de messagerie instantanée. Évalué à 2.
J'observe que pour web, les gros acteurs de services (GG, FB) tirent partie des standards et poussent donc fortement à leur modernisation : HTTP2, webgl, webrtc, Webassembly, brotli. Et de client web (Moz, GG) suivent le mouvement.
Dans le domaine du conversationnel, chacun y va de sa propre technologie. Et les tentatives de standardisation (XMPP) peinent voire régressent en adoption (GG, FB :/).
Peut être est-ce que la problématique est plus compliquée à traiter (+ de fonctionnalités). Le fait aussi que tout le monde a un navigateur web mais pas un client xmpp reverse un peu la position de force. Et puis la messagerie instantanée est lié à une gestion de l'identité. Si l’icône "chat" sous android ou ios était un client xmpp, comme l’icône "email" est un client imap, le xmpp serait plus répandu. Et les services centralisés veulent garder la main sur l'identité de l'utilisateur.
[^] # Re: Lu et approuvé
Posté par steph1978 . En réponse au journal Prince: bronsonisé :(. Évalué à 2.
Quand je lis ça, je me dis que je préfère définitivement la musique. Et ça se retrouve au goût : c'est gras et sucré, sans saveur.
[^] # Re: Juste un langage ?
Posté par steph1978 . En réponse à la dépêche À la découverte d'un nouveau langage, Elm. Évalué à 3.
Est-ce qu'à terme la cible ne sera pas de compiler vers du webassembly ?
[^] # Re: Yet another one
Posté par steph1978 . En réponse à la dépêche À la découverte d'un nouveau langage, Elm. Évalué à 6.
Je ne partage mais alors pas du tout.
Apprendre plusieurs langage permet de ne pas tomber dans les travers d'un seul.
Tu peux mieux coder en C en apprenant un langage fonctionnel.
Ensuite la métrique du temps de dev est ridicule si tu ne mais aucun critère de qualité.
Tout problème se code en 5 minutes en allant sur SO.
Mais de là à bien avoir un code suffisamment efficace en ressources, adapté à tes cas limites, maintenable dans le temps ; ça demande beaucoup plus.
Et puis c'est comme parler une seule langue. Si tu dois bosser sur un projet qui a fait un choix de langage différent du tien, t'es marron. Et un projet dans un seul langage, déjà c'est rare.
IMHO, il serait plus constructif de commencer à coder que de regarder des conférences boiteuses.
# philosophie
Posté par steph1978 . En réponse au message curl wget. Évalué à 8.
Ces commandes sont philosophiquement différentes et plus ou moins explicite dans leurs noms.
wget est plus conçu pour télécharger en http. Par exemple, il supporte le récursif, et les patterns d'url (http://monservice/monrepertoire/image[0-9].png).
curl est plus conçu pour interagir avec un serveur web. Par exemple il peut faire du POST, du PUT, du HEAD, et toutes les opérations prévues en HTTP et bien utiles en architecture REST.
Donc en théorie ton besoin correspond plus à curl. Mais en pratique les deux font très bien le job pour toi. IMHA, utilise celui qui est présent de base sur ton système.
[^] # Re: Incompréhension
Posté par steph1978 . En réponse au journal CEGID racheté. Évalué à 2.
Faudrait peut être faire la citation complète :
Donc l'éditeur a promis une licence MSoffice parce qu'il n'a pas été capable d'implémenter une fonction présente sur la plaquette commerciale. Et donc ne sais pas générer un document ODS.
Pas de quoi incriminer LO donc.
# etcd ?
Posté par steph1978 . En réponse au message 100% distribué ?. Évalué à 2.
etcd a été construit pour partager une configuration sans SPOF.
Peut être que cela répondrait à ton besoin.