Préambule
- Ce mois-ci fut moyennement productif et permis la créations de quelques wiki (qui, il faut l'avouer, sont vachement plus pratiques que les journaux/forums). Je vous rappels que votre participation est importante et permet d'ajouter des informations, de corriger mes lacunes et, parfois, mon manque de maturité ^ ^ Alors s'ils vous plaît, n'hésitez pas à participer via les commentaires ou en éditant les wikis afin de les améliorer :) (ainsi qu'en aidant à la mise à jours des articles Wikipédia qui sont linké dans les tuto) Sachez que la plus part des tuto cités ici subiront d'autres éditions au fur et a mesure de ma motivation et de mon apprentissage dans leur sujet respectif.
Donc sur ce je vous kiff et bon appétit !
Les tutoriaux
RaspberryPi remplacer son Système de Fichier par F2FS (formatage)
- On commence par le remplacement du système de fichier EXT4 utilisé sur les Raspberry Pi par le F2FS. Je l'ai testé sur mon frontend (qui gère aussi mon forum, au pifomètre je dirais 20% de perf en plus)
Formater les disques d'un volume Gluster Sur Ubuntu
- Assez proche du précédent (est l'idée m'est bien entendu venu suite au précédent tuto). Ici nous formaterons en F2FS des disques déjà utilisés par un volume Gluster. Il faut savoir que sur internet beaucoup conseillent de laisser 30% d'espace disque vierge sur les SSD afin que les contrôleurs puissent faire leur rotation et éviter de sur-utiliser des cellules. Je trouvais désagréable de perdre 30% de mon stockage SSD et ai remplacé par un formatage de toute la partition en F2FS en espérant que ce Système de fichier conçu pour les SSD soit plus efficace à ce niveau sans perte. Par contre à vide je suis passé de moins de 400Mo de cache a 5Go.
Tuto Piwik - Ajouter un robot
- Vous utilisez Piwik et un bot brouille vos stats car il n'est pas détecté? Ce tuto est fait pour vous! Notez qu'on parle ici de contribuer au projet et non ajouter localement le robot. Sachez néanmoins que les robots très peu actifs ne seront pas forcément accepté (plus il y a de robot dans la liste et plus le logiciel Piwik prend du temps à charger)
Tuto Ajax - afficher au format JSON des articles e-shop depuis MySQL-MariaDB grâce à PHP
- Vous débutez en programmation/dev et l'ajax est trop complexe pour vous? Besoin d'un script PHP permettant d'afficher au format JSON des informations récupérées dans une base de données? Créer ce script fut très enrichissant et instructif. Il m'a pris quelques heures de codage et j'espère qu'il sera utile à d'autres :)
Tuto - Chercher présence d'une sous chaîne dans une chaîne avec MySQL grâce à LIKE
- Vous ne saviez pas que SQL pouvait effectuer des expressions régulières? Découvrez avec PHP le paramètre en langage SQL intitulé LIKE.
Tuto - chiffrer côté serveur les fichiers hébergés par Nextcloud
- Le petit dernier du mois. Ici nous mettons en place le chiffrement côté serveur sur Nextcloud et nous tentons de répondre à quelques questions. Important côté sécurité mais franchement pas agréable le coût en temps machine. (poster une photo est passé de quasi instantané à entre 1 et 7 secondes) Pour une raison obscure l'option de la clés de secoure n’apparaît pas sur mon serveur cloud à jours mais bien sur le serveur teste qui lui à eu droit à une fresh install.
# Système de fichiers
Posté par barmic . Évalué à 4.
Actuellement j'utilise btrfs comme fs, mais finalement je n'utilise pas beaucoup de fonctionnalités de ce dernier. Je réfléchis à utiliser ext4 ou xfs. f2fs je ne l'imaginait pas parce que je pensais qu'il était là pour les mémoire flash « brute » (sans aucune surcouche). En fait il est fait pour les mémoires flash amovibles, mais pas pour le SSD (cf : Dépêche où il est apparu dans le noyau 3.8).
Vous utilisez quoi vous ?
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: Système de fichiers
Posté par xcomcmdr . Évalué à 0. Dernière modification le 28 février 2017 à 10:25.
NTFS, et FAT32 pour les clés USB.
What else ?
"Quand certains râlent contre systemd, d'autres s'attaquent aux vrais problèmes." (merci Sinma !)
[^] # Re: Système de fichiers
Posté par pulkomandy (site web personnel, Mastodon) . Évalué à 2.
Sous Haiku, j'utilise BFS, bien sûr.
Pour les autres systèmes, XFS ou JFS, selon l'humeur du moment. Je n'ai toujours pas réussi à les départager.
[^] # Re: Système de fichiers
Posté par Moonz . Évalué à 2.
btrfs.
Je n’utilise pas beaucoup de ses fonctionnalités, mais le snapshot, pour les backups, c’est tellement pratique que je pourrai pas revenir en arrière.
[^] # Re: Système de fichiers
Posté par Philip Marlowe . Évalué à 2.
À propos de btrfs, des fabricants de NAS comme Synology l'utilisent désormais sur leurs produits.
[^] # Re: Système de fichiers
Posté par EauFroide . Évalué à 0.
Je ne suis pas callé sur le sujet mais internet semble en désaccord.
source : wikipediaEN - F2FS (hésitez pas à traduire l'article wikipediaFR)
Voici un petit benchmark pour ceux qui veulent
Sur le serveur cloud :
SSD système : ext4
SSD : f2fs (+ surcouche jbod gluster)
HDD : ext4 (+ surcouche jbod gluster)
Sur le raspberry pi f2fs
PS: se serait cool de faire un wiki comparant TOUT les FS utilisable (y compris orangefs etc) mais ça nécessiterait de l'aide (je suis de pouvoir faire ça tout seul)
PS2: auriez-vous un script pour automatiser un benchmark (je voudrais tester les perfs de MariaDB, MySQL et PostGreSQL sur différent FS)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Système de fichiers
Posté par barmic . Évalué à 4.
Avec les ssd grands publics, tu as déjà une FTL que tu ne peux pas outrepasser, donc tu va avoir 2 FTL avec F2FS ce qui augmente les indirections.
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: Système de fichiers
Posté par EauFroide . Évalué à 0. Dernière modification le 01 mars 2017 à 00:33.
ftl? ^ ^
indirection? ^ ^
Je ne t'en voudrais pas de considérer que je suis un noob dans ce sujet et de bien détailler :P
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Système de fichiers
Posté par barmic . Évalué à 5.
Flash Translation Layer, c'est ce qui permet d'avoir un mapping entre des adresses logique et physique ce qui permet, entre autre, le wear leveling (la technique qui permet de ne pas continuellement attaquer les même NAND pour améliorer la durée de vie du stockage). Toutes les ressources que j'ai pu voir affirment que F2FS est fait pour utiliser de la mémoire flash direct sans FTL et je ne connais pas de SSD sans FTL.
Par contre c'est vrai que c'est une bonne idée pour les clefs USB ou les cartes mémoires, mais du coup il faut le comparer à UDF (non pas le parti politique) qui a l'avantage d'être lisible sur windows.
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: Système de fichiers
Posté par EauFroide . Évalué à 0.
Merci pour tes informations barmic c'est sympa.
C'est le genre d'infos qu'il faudrait ajouter a wikipediaFR ^ ^
Se serait vraiment bizare que ce filesystem ne soit pas prevu pour les SSD grand publique.
Tu conseillerais quel FS (pour longevité+perf)? :)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Système de fichiers
Posté par barmic . Évalué à 4.
Pourquoi ? Les contributions au noyons ne sont pas là particulièrement pour le grand publique :)
Aucune idée. ext4, btrfs et zfs ont des optimisation pour les ssd. xfs je sais pas. maintenant que le wear leveling est partout ce qui est vraiment important c'est d'avoir les appels TRIM (il permet au wear leveling de savoir quels blocs sont libérés) et tous les FS encore développés le supportent (tu peu l'activer via l'option
discarddu fs dans tonfstabou lancer un fstrim régulièrement).Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: Système de fichiers
Posté par EauFroide . Évalué à 0. Dernière modification le 01 mars 2017 à 14:38.
Oui je sais, surtout qu'ils pensent aussi aux serveurs qui peuvent utiliser du matos différents. Mais comme Samsung est un des principaux instigateurs de F2FS, je me serais attendu de leur part à se que se soit optimisé pour la majeure partie de leur gamme.
Comme quoi un préjugé, même positif, reste un préjugé ^ ^
Mais c'est difficile de s'y retrouver dans la multitude de FS quasi uniquement documenté en anglais.
Si non que penses-tu des gens qui disent qu'il faut laisser 30% d'espace mémoire vierge sur les SSD : mesure préhistorique ou bien toujours d'actualité? (au prix du SSD, ça fait mal de perdre 30%)
PS: après se que tu as dis je penses que je vais re-migrer mes SSD vers un autre FS (je ne sais pas lequel choisir par contre).
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Système de fichiers
Posté par barmic . Évalué à 4.
Le matos de leur téléphone n'ont probablement pas de FTL.
C'est ce que fais le wear leveling, c'est pour ça qu'on trouve des SSD qui ont des tailles bizarres (par des puissance de 2).
Oula moi j'ai juste dis que ça me surprends de l'utiliser après si en pratique c'est cool pour toi, je suis pas du tout un expert.
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: Système de fichiers
Posté par EauFroide . Évalué à 0.
Pour être franc je l'essaye car je n'ai trouvé que peu d'infos en français dessus (quand je ne trouve rien en français ça m'énerve alors j'essaye de creuser le sujet et de le rendre accessible aux francophones).
Mais je ne me suis pas encore fixé sur un filesystem, il faut juste que ça tourne bien avec gluster, que la longévité de mes SSD soit respectée et que je n'a plus besoin d'y toucher par après :)
Merci, ça résous au moins un dilemme :)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Système de fichiers
Posté par barmic . Évalué à 3.
Tu fais quoi avec gluster ? J'veux dire le cas d'usage que je vois c'est les clusters de machines et tu as l'air de t'en servir sur une machine de bureau.
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: Système de fichiers
Posté par EauFroide . Évalué à 0. Dernière modification le 01 mars 2017 à 17:51.
Je fais des JBOD locaux et quand j'aurais de quoi financer le 2eme ordinosaure je referai un raid10 réseau. (au départ j'avais fais un raid10 mais j'ai perdu 2 disques)
Je n'ai pas encore testé tout les systèmes raids mais c'est le seul (avec mhddfs mais lui il est instable) qui a un comportement que j'apprécie : en cas de panne d'un disque les données sont encore accessible (rwx) avec le reste de la mémoire. Et même si je perd mon volume gluster les données sont encore utilisable via le filesystem.
Le côté pas pratique c'est que gluster casse la vitesse d'écriture des SSD (je passe de 300Mo/s à 90Mo/s) et ça bouffe pas mal en ressources.
Mais normalement en cas de panne d'une partie d'un des JBOD, les services utilisant cette mémoire devraient continuer de fonctionner normalement (zoneminder pour les SSD et nextcloud pour les HDD)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Système de fichiers
Posté par steph1978 . Évalué à 2.
Les clés USB ont aussi une FLT. Donc pourquoi le conseiller pour ça et le déconseiller pour un SSD.
En fait de ce que je comprends de la page wikipedia, F2FS n'a pas de FLT mais il est conçu pour s'y adapter.
Utilisé sur de la flash pur, il faudrait qqch comme UBI
[^] # Re: Système de fichiers
Posté par barmic . Évalué à 3.
Je suis aller voir la doc officielle vu comme les sources peuvent ne pas êtres d'accord et tu as raison : https://www.kernel.org/doc/Documentation/filesystems/f2fs.txt
Mea maxima culpa
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
# Pattern matching != Regex
Posté par TilK . Évalué à 4.
Merci pour ces tutoriaux.
Par contre, je vois une grossière erreur dans celui sur la recherche de sous-chaîne dans MySQL.
L'opérateur LIKE ne permet que de faire du pattern matching, pas d'utiliser des expressions régulières :
https://dev.mysql.com/doc/refman/5.7/en/pattern-matching.html
En gros, tu n'as droit qu'à deux caractères spéciaux, "%" qui "matche" un nombre quelconque de caractères (même aucun), et "_" qui matche un seul caractère.
Dans MySQL, si tu veux utiliser les expressions régulières il faut utiliser les opérateurs "RLIKE" ou "REGEXP" :
https://dev.mysql.com/doc/refman/5.7/en/regexp.html
Tu peux également rajouter une phrase sur les performances qui peuvent se dégrader très vite si tu utilises mal ce genre de constructions.
[^] # Re: Pattern matching != Regex
Posté par EauFroide . Évalué à 0.
Shel Kep Nemron !
Merci pour tes informations Tilk. :)
Note que j'avais compris que s'était uniquement pour des expressions très simple mais je ne savais pas comment nommer cela ^ ^
Est-ce que Filtrage par motif convient mieux? :)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
# Vidéos conférence via Nextcloud
Posté par EauFroide . Évalué à 0.
Hier en finalisant le tuto sur le chiffrement de Nextcloud j'ai découvert une extension qui permet de faire des appels vidéos via WebRTC. Elle s'appelle Video Calls.
Je l'ai testé et c'est vraiment simple d'utilisation, ça permet de passer des appels audio+vidéos entre utilisateurs ou avec des non-inscrits bref j'ai fortement apprécié.
Cette petite nouveauté méritait à mon humble avis d'être partagée :)
La consommation en ressource semble être d'un peu plus de 300Ko/s par webcam.
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.