D'après la vidéo de l'interview de Snoden au journaliste allemand, XKeyScore serait une sorte de super moteur de recherche pour avoir toutes les informations possibles sur une personne. Cela ne serait pas un outil de collecte mais d'analyse. D'ailleurs, si les 5 eyes, y ont accès, la France et l'Allemagne aussi on dirait.
C'est vrai aussi. Je crois qu'il y a une réflexion pour faire du multiprocessus avec du passage de message à faible cout. Il existe aussi un "map" parallèle qui fonctionne avec fork(), utile pour les très gros job.
Le top du top serait juste un map/reduce (fold) à la google, utilisant du multithreading mais avec les threads déjà pret, pour éviter les couts de création. J'imagine que les problèmes de partages mémoires (et donc de la gestion des caches) rend la solution assez difficile.
"c'est un paradigme différent et plus difficile à appréhender qu'un langage Objet impératif comme le C++."
C'est du vent ça. Franchement. Tu peux même coder objet impératif en Ocaml, si tu veux. Même si c'est un peu moche.
"Typiquement, si je veux faire un beau GUI portable,"
C'est claire. J'espère beaucoup à une vrai liaison avec les EFL. C'est le point noir de mon point de vue.
"il parait aussi que la syntaxe est pas extra, au point qu'il existe des package pour des syntaxes alternatives…"
Pas la syntaxe de base. Le metaocaml ou ocamlp4 sont simplement horrible. Dans la syntaxe de base, il y a quelques mots clef simple à comprendre (let, match, where, …). Les usages avancés utilisent plus de zigouigouis (genre des [> ou %% ), j'aime beaucoup moins. De base, c'est ultra lisible, mais pas habituelle (pas de parenthèse, pas de virgule).
Le type somme et le filtrage existe dans le nouveau c++ ?
C'est tellement énorme comme concept, que je ne comprends pas que ce n'est pas plus commun. Rust va faire un carton, il ressemble tellement à ocaml avec une syntaxe C, que cela devrait bien marcher.
Pour reprendre du Ocaml, de base il retourne une référence (comme en java ?), mais on s'en fout de le savoir car il se débrouille. Vu que l'usage de variable modifiable en place, est un poil plus lourd, les variables sont créés une fois pour toute, et donc, fonctionner par référence est simple.
"Malheuresement, OCaml reste moins bon en terme de taille de communauté, portabilité, librairies disponibles, performance … "
Pour les performances, j'ai quand même un doute. Sur un code de calcul, oui, je suis d'accord. Sur un code de manipulation de symbole (compilo, transformation, etc…), c'est pas sûr du tout, sachant la facilité des filtrages des types sommes. Si la gestion de la mémoire devient complexe, je pense aussi que ocaml peut devenir plus rapide.
Je connais pas du tout les fonctionalités avancées c++, je comprends donc à moitier le thread, mais est-ce que vous connaissez Ocaml? J'ai l'impression que beaucoup de choses sont en fait hyper simple en comparaison.
Je rêve d'un filtre pour "embellir" globalement les photographies.
En gros, il s'agit de supprimer les déformations géométriques, un outil externe existe mais il utilise une base de données obsolète d'objectif et les données exif.
Il faudrait aussi pouvoir compenser le vignetage, voir la suppression des franges violettes (diffraction de second ordre ?).
Il faudrait aussi pousser le contraste et la couleur, sans bruler les claires, ni les saturer (je le fait avec une courbe en l'"arrondissant").
Cela permettrait d'utiliser des objectifs moins chère pour des rendus semblables à des focales fixes.
Je veux bien qu'un code soit plus fin si il a toutes les informations, par rapport à un hardware dédiés forcément plus brutal.
Mais si il y a bien un truc que ZFS ne peut pas faire, c'est garantir que les données sont bien écrites sur le disque (fdone()) sans perdre de performance. C'est impossible à faire sans l'aide du hardware.
Le seul problème d'un gros morceau de RAM, c'est l'amplification d'écriture qui peut devenir problématique. C'est le problème d'un système où tu associes un truc rapide et petit, avec un truc lent mais gros. Le petit sert en premier, mais si il déborde, c'est les performances du gros que l'on voit (moins le transfert du petit dans le gros).
En gros, un gros cache RAM sera très efficace en cas de grande quantité de modification local. Il le sera moins pour tout ce qui est recopie de gros fichier, forcément.
Je ne comprends toujours pas. Si les contrôleurs Sata ont choisi la méthode bête pour faire un cache, qu'est-ce qui empêche de faire un cache moins bête dans une autre génération de disque ? Une mémoire de tag, c'est pas sorcier. Pour 1go, tu stocks (1024*1024/4) blocs de 4k. Pour des clefs 48 bits, cela te fait un tag de ~2 Mo, cela n'est pas énorme.
Le système peut aussi fonctionner comme une mémoire virtuelle avec une TLB à plusieurs niveau, et le dernier niveau est le plateau. La gestion se fait ainsi avec les adresses et non les commandes.
La comparaison est valable à budget équivalent. Cela veut dire que le PC en pure raid soft pourrait avoir le double de ram et le cpu de gamme supérieur.
Je ne connais pas le protocole SATA, mais le principe d'un cache est que le client n'a pas connaissance de son existence. Donc, la politique du cache est censé dépendre du fabricant du disque.
Je ne comprends pas pourquoi, il serait si difficile de faire un remapping des blocks en cache, et que tout reste cohérent ensuite. En gros, le plateau aurait la même utilité qu'un swap sur disque. J'ai du mal à comprendre la difficulté. Pour moi, un sata c'est des read/write/trim sur des adresses de 512 ou 4k octets, et des demandes de barrières de synchro.
"L'hybridation SSD/HD sert dans le sens ou le SSD est plus rapide que le HD et que l'on a des Go d'espace de stockage."
?! Tu te rend compte que l'usage RAM+batterie revient à l'usage d'un SSD ? Et donc, que tous les avantages associés restent. Ce genre de ssd tourne autour de qq Go de mémoire.
Cette page https://calomel.org/zfs_raid_speed_capacity.html a l'air de dire qu'il y a une énorme différence de vitesse monocanal entre un chipset de base et une carte LSI. Je peux comprendre que les fake raid soit lent, mais que les chipsets qui ne font que passer les données entre le bus pci et le bus sata, le soit, cela parait dingue.
Si c'est le cas, il faut que les testeur de matos, testent leur SSD sur des vrais cartes, pour voir combien la carte mère fait perdre de performance (/4 selon le teste).
1x 2TB a single drive - 1.8 terabytes - Western Digital Black 2TB (WD2002FAEX)
Asus Sabertooth 990FX sata6 onboard ( w= 39MB/s , rw= 25MB/s , r= 91MB/s )
SuperMicro X9SRE sata3 onboard ( w= 31MB/s , rw= 22MB/s , r= 89MB/s )
LSI MegaRAID 9265-8i sata6 "JBOD" ( w=130MB/s , rw= 66MB/s , r=150MB/s )
1x 256GB a single drive - 232 gigabytes - Samsung 840 PRO 256GB (MZ-7PD256BW)
Asus Sabertooth 990FX sata6 onboard ( w=242MB/s , rw=158MB/s , r=533MB/s )
LSI MegaRAID 9265-8i sata6 "JBOD" ( w=438MB/s , rw=233MB/s , r=514MB/s )
"il n'y a aucun intéret à aller au delà de 64Mo en SATA, et déjà c'est overkill…"
Je ne comprends pas comment cela peut être un overkill. Si c'était le cas, les caches SSD ne servirait à rien.
Ici, le but est d'utiliser la RAM cache, comme le fait avec un SSD, certain disque hybride. Pour l'instant, c'est difficile à faire sans un gros risque de perte de donné. Mais ce n'est plus le cas, si la RAM peut être sauvé en cas de coupure.
En gros, une fois que le contrôleur disque a la bonne vitesse (canaux assez gros par rapport à la connexion cpu et la connexion vers les disques), tout le reste peut être faire sur les disques dures : cache énorme, sécurisé par une capacité pour sauver les données sur le disque qui tourne ou sur un ssd. Cela permet de fournir une écriture garantie à très haute vitesse sans bidouille qui peut perdre des données.
"Sur du hardware non professionnel tu dois lancer des scrub réguliers pour détecter rapidement ce type de comportements."
Dans le spatial, le scrubing, c'est une fonctionnalitée d'un contrôleur mémoire qui provoque des lectures sur une mémoire ECC, qui produit une réécriture en cas d'erreur. (pas un vrai ECC mais du reed solomon, car une particule se tape toute une puce en général, donc 8 bits d'un coup pas seulement un bit). Le scrubing implique un code correcteur d'erreur. C'est fait pour détecter une erreur avant qu'une autre arrive, et empêche la correction.
J'imagine que tu parles d'un test type détection de "collage", genre memtest pour vérifier si une puce est défectueuse ou pas. Cela gère bien les puces en panne mais pas les états transitoires.
Si le but est d'avoir un sync rapide, et de la mémoire cache en écriture pléthorique, cela ne doit pas être difficile de mettre 1 Go de ram de cache d'écriture sur un disque dure au lieu de 32 Mo et d'avoir une super capacité pour finir un fsync en cas de coupure d'alimentation.
# XkeyScore
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Synthèse du programme de surveillance américain. Évalué à 5.
D'après la vidéo de l'interview de Snoden au journaliste allemand, XKeyScore serait une sorte de super moteur de recherche pour avoir toutes les informations possibles sur une personne. Cela ne serait pas un outil de collecte mais d'analyse. D'ailleurs, si les 5 eyes, y ont accès, la France et l'Allemagne aussi on dirait.
"La première sécurité est la liberté"
[^] # Re: Inpainting
Posté par Nicolas Boulay (site web personnel) . En réponse au journal G'MIC 1.5.8.3 : Quelques avancées supplémentaires pour le traitement d'image libre. Évalué à 2.
Il y a quand même un effet de flou, et les variations de luminosités qui peuvent faire des choses bizarres.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 3.
En effet, l'intérêt est surtout dans le retour de fonction avec arguments multiples. C'est le vrai grand intérêt.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 2.
Tu mets sur le même niveau d'intérêt, le filtrage d'un type somme avec les tuples ?
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 1.
C'est pas faux, mais cela ne concerne pas Ocaml qui permet l'impératif (printf est plus simple qu'une monade j'imagine).
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 0.
Il utilise le typage linéaire pour faire ça ? C'est très compliqué de faire un programme multithread, "safe" par construction.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 0.
C'est vrai aussi. Je crois qu'il y a une réflexion pour faire du multiprocessus avec du passage de message à faible cout. Il existe aussi un "map" parallèle qui fonctionne avec fork(), utile pour les très gros job.
Le top du top serait juste un map/reduce (fold) à la google, utilisant du multithreading mais avec les threads déjà pret, pour éviter les couts de création. J'imagine que les problèmes de partages mémoires (et donc de la gestion des caches) rend la solution assez difficile.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 1.
"c'est un paradigme différent et plus difficile à appréhender qu'un langage Objet impératif comme le C++."
C'est du vent ça. Franchement. Tu peux même coder objet impératif en Ocaml, si tu veux. Même si c'est un peu moche.
"Typiquement, si je veux faire un beau GUI portable,"
C'est claire. J'espère beaucoup à une vrai liaison avec les EFL. C'est le point noir de mon point de vue.
"il parait aussi que la syntaxe est pas extra, au point qu'il existe des package pour des syntaxes alternatives…"
Pas la syntaxe de base. Le metaocaml ou ocamlp4 sont simplement horrible. Dans la syntaxe de base, il y a quelques mots clef simple à comprendre (let, match, where, …). Les usages avancés utilisent plus de zigouigouis (genre des [> ou %% ), j'aime beaucoup moins. De base, c'est ultra lisible, mais pas habituelle (pas de parenthèse, pas de virgule).
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 5.
Le type somme et le filtrage existe dans le nouveau c++ ?
C'est tellement énorme comme concept, que je ne comprends pas que ce n'est pas plus commun. Rust va faire un carton, il ressemble tellement à ocaml avec une syntaxe C, que cela devrait bien marcher.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 3.
Pour reprendre du Ocaml, de base il retourne une référence (comme en java ?), mais on s'en fout de le savoir car il se débrouille. Vu que l'usage de variable modifiable en place, est un poil plus lourd, les variables sont créés une fois pour toute, et donc, fonctionner par référence est simple.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 2.
"Malheuresement, OCaml reste moins bon en terme de taille de communauté, portabilité, librairies disponibles, performance … "
Pour les performances, j'ai quand même un doute. Sur un code de calcul, oui, je suis d'accord. Sur un code de manipulation de symbole (compilo, transformation, etc…), c'est pas sûr du tout, sachant la facilité des filtrages des types sommes. Si la gestion de la mémoire devient complexe, je pense aussi que ocaml peut devenir plus rapide.
"La première sécurité est la liberté"
[^] # Re: Intéressant
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Je crée mon jeu vidéo E09 : Techniques de C++11 appliquées au système à entités. Évalué à 1.
Je connais pas du tout les fonctionalités avancées c++, je comprends donc à moitier le thread, mais est-ce que vous connaissez Ocaml? J'ai l'impression que beaucoup de choses sont en fait hyper simple en comparaison.
"La première sécurité est la liberté"
# amélioration ?
Posté par Nicolas Boulay (site web personnel) . En réponse au journal G'MIC 1.5.8.3 : Quelques avancées supplémentaires pour le traitement d'image libre. Évalué à 2.
Je rêve d'un filtre pour "embellir" globalement les photographies.
En gros, il s'agit de supprimer les déformations géométriques, un outil externe existe mais il utilise une base de données obsolète d'objectif et les données exif.
Il faudrait aussi pouvoir compenser le vignetage, voir la suppression des franges violettes (diffraction de second ordre ?).
Il faudrait aussi pousser le contraste et la couleur, sans bruler les claires, ni les saturer (je le fait avec une courbe en l'"arrondissant").
Cela permettrait d'utiliser des objectifs moins chère pour des rendus semblables à des focales fixes.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 0.
Je ne parlais pas de ça. Tu as 100 IO/s avec un disque, 100 000 io/s en RAM ?
"La première sécurité est la liberté"
[^] # Re: ZFS est réservé au stockage
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 0.
Et au niveau des chipsets ? C'est pas très connu, ces différences.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 0.
Je veux bien qu'un code soit plus fin si il a toutes les informations, par rapport à un hardware dédiés forcément plus brutal.
Mais si il y a bien un truc que ZFS ne peut pas faire, c'est garantir que les données sont bien écrites sur le disque (fdone()) sans perdre de performance. C'est impossible à faire sans l'aide du hardware.
Le seul problème d'un gros morceau de RAM, c'est l'amplification d'écriture qui peut devenir problématique. C'est le problème d'un système où tu associes un truc rapide et petit, avec un truc lent mais gros. Le petit sert en premier, mais si il déborde, c'est les performances du gros que l'on voit (moins le transfert du petit dans le gros).
En gros, un gros cache RAM sera très efficace en cas de grande quantité de modification local. Il le sera moins pour tout ce qui est recopie de gros fichier, forcément.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 1.
Je ne comprends toujours pas. Si les contrôleurs Sata ont choisi la méthode bête pour faire un cache, qu'est-ce qui empêche de faire un cache moins bête dans une autre génération de disque ? Une mémoire de tag, c'est pas sorcier. Pour 1go, tu stocks (1024*1024/4) blocs de 4k. Pour des clefs 48 bits, cela te fait un tag de ~2 Mo, cela n'est pas énorme.
Le système peut aussi fonctionner comme une mémoire virtuelle avec une TLB à plusieurs niveau, et le dernier niveau est le plateau. La gestion se fait ainsi avec les adresses et non les commandes.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 6.
La comparaison est valable à budget équivalent. Cela veut dire que le PC en pure raid soft pourrait avoir le double de ram et le cpu de gamme supérieur.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 0. Dernière modification le 10 février 2014 à 17:04.
Je ne connais pas le protocole SATA, mais le principe d'un cache est que le client n'a pas connaissance de son existence. Donc, la politique du cache est censé dépendre du fabricant du disque.
Je ne comprends pas pourquoi, il serait si difficile de faire un remapping des blocks en cache, et que tout reste cohérent ensuite. En gros, le plateau aurait la même utilité qu'un swap sur disque. J'ai du mal à comprendre la difficulté. Pour moi, un sata c'est des read/write/trim sur des adresses de 512 ou 4k octets, et des demandes de barrières de synchro.
"L'hybridation SSD/HD sert dans le sens ou le SSD est plus rapide que le HD et que l'on a des Go d'espace de stockage."
?! Tu te rend compte que l'usage RAM+batterie revient à l'usage d'un SSD ? Et donc, que tous les avantages associés restent. Ce genre de ssd tourne autour de qq Go de mémoire.
"La première sécurité est la liberté"
[^] # Re: ZFS est réservé au stockage
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 3.
Cette page https://calomel.org/zfs_raid_speed_capacity.html a l'air de dire qu'il y a une énorme différence de vitesse monocanal entre un chipset de base et une carte LSI. Je peux comprendre que les fake raid soit lent, mais que les chipsets qui ne font que passer les données entre le bus pci et le bus sata, le soit, cela parait dingue.
Si c'est le cas, il faut que les testeur de matos, testent leur SSD sur des vrais cartes, pour voir combien la carte mère fait perdre de performance (/4 selon le teste).
"La première sécurité est la liberté"
[^] # Re: ZFS est réservé au stockage
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 1.
Il doit vérifier les hash du contenu. Mais il fait en quoi en cas d'erreur ?
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 0.
"il n'y a aucun intéret à aller au delà de 64Mo en SATA, et déjà c'est overkill…"
Je ne comprends pas comment cela peut être un overkill. Si c'était le cas, les caches SSD ne servirait à rien.
Ici, le but est d'utiliser la RAM cache, comme le fait avec un SSD, certain disque hybride. Pour l'instant, c'est difficile à faire sans un gros risque de perte de donné. Mais ce n'est plus le cas, si la RAM peut être sauvé en cas de coupure.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à -1.
En gros, une fois que le contrôleur disque a la bonne vitesse (canaux assez gros par rapport à la connexion cpu et la connexion vers les disques), tout le reste peut être faire sur les disques dures : cache énorme, sécurisé par une capacité pour sauver les données sur le disque qui tourne ou sur un ssd. Cela permet de fournir une écriture garantie à très haute vitesse sans bidouille qui peut perdre des données.
"La première sécurité est la liberté"
[^] # Re: ZFS est réservé au stockage
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 1.
"Sur du hardware non professionnel tu dois lancer des scrub réguliers pour détecter rapidement ce type de comportements."
Dans le spatial, le scrubing, c'est une fonctionnalitée d'un contrôleur mémoire qui provoque des lectures sur une mémoire ECC, qui produit une réécriture en cas d'erreur. (pas un vrai ECC mais du reed solomon, car une particule se tape toute une puce en général, donc 8 bits d'un coup pas seulement un bit). Le scrubing implique un code correcteur d'erreur. C'est fait pour détecter une erreur avant qu'une autre arrive, et empêche la correction.
J'imagine que tu parles d'un test type détection de "collage", genre memtest pour vérifier si une puce est défectueuse ou pas. Cela gère bien les puces en panne mais pas les états transitoires.
"La première sécurité est la liberté"
[^] # Re: Utilisation en production ?
Posté par Nicolas Boulay (site web personnel) . En réponse à la dépêche Et si la meilleure des cartes RAID était libre ?. Évalué à 0.
Si le but est d'avoir un sync rapide, et de la mémoire cache en écriture pléthorique, cela ne doit pas être difficile de mettre 1 Go de ram de cache d'écriture sur un disque dure au lieu de 32 Mo et d'avoir une super capacité pour finir un fsync en cas de coupure d'alimentation.
"La première sécurité est la liberté"