oau a écrit 225 commentaires

Je travaille dans plein de domaines différents. Et partout je peux utiliser le même langage pour le faire. Piloter mon k8s, faire du web avec django, pousser mes données dans kafka, faire du reporting dans plein de format différents, traiter beaucoup de données et faire de l'apprentissage avec. Utiliser une base graph ou une base relationnelle avec la meme interface. Un seul langage, plein d'usage différents.

Après je suis pas quelqu'un de très intelligent. Et j'ai le sentiment que même moi qui ne suis pas un super dev je peux faire des trucs qui marchent bien qui sont simples et qui marchent longtemps. Alors que en Java il me semble que pour faire des trucs top, kafka par exemple, il faut etre très bon. Un dev moyen en java peut vraiment faire des trucs pas top.

Je viens de migrer une application java qui a 3go de source et qui met 15min à compliler dans gitlab et k8s et je trouve ca quand même très lourd.

entre temps les geeks sont passés sous macOS

franchement je ne vois pas ce que macOS a pour plaire aux geeks. Je suis contraint d'avoir un mac parce que pour faire une app ios et bien il faut un mac … et franchement je ne vois pas. Pas de sortie vidéo, ni ethernet, un clavier dégueulasse, une autonomie pas folle pour un truc d'occaz d'y il a 5ans et à 600€ …. La moindre mise à jour de xcode c'est 2go minimum et ça prend vraiment trop de temps. Vim à coté … (Oui je code avec vim, je fais du python et du panda et vim c'est très bien) Comme sous windows tu dois passer trop de temps pour installer un gestionnaire de package, un terminal qui tienne la route toute tes petites affaire. Sous linux git clone et apt install et hop t'as ton environnement de travail le temps de télécharger les packages.

Honnêtement je ne vois pas ce qu'un geek irait faire sous macosx. Je pense que c'est plutôt une histoire de marqueur social de cadre plus ou moins supérieur qui veulent se faire bien voir qu'autre chose. Le mac ca va avec la tesla

Concernant linux sur le desktop quand j'ai commencé à bosser il y a maintenant plus de 20ans j'étais vraiment un E.T quand je disais que je connaissais pas windows et que je bossais que sous linux. Aujourd'hui que ce soit des jeunes ou des moins jeunes avoir des linux ne pose aucun problème.

Linux sur le desktop fait partie du paysage. Totalement. Je joue, je code, je fais du montage vidéo, de l'admin, je gère mes photos, je fabrique la plaquette de l'école de mon fils et tout çà avec des logiciels qui me conviennent, qui sont stables et surtout qui ne m’embête jamais.

Jamais gimp m'a dit "hey attend coco y'a une maj de 4go à faire avant que tu puisses faire ce qui tu as à faire" (genre xcode il y a quelques semaines pour mettre mon app ios à jour). Ou "hey coco je vais reboot la de suite maintenant". Et enfin j'ai pas de pub dans le menu démarrer.

Et encore j'ai une debian stable. Je suis pas sur que ce soit la distribution la plus simple à utiliser.

Vraiment je ne sais pas si le desktop pour linux c'est pour 2020 mais dire que rien n'a changé c'est vraiment être de très mauvaise fois. En tout les cas de la ou je regarde.

Windows 10 Pro - Lenovo recommends Win 10 Pro for business en bien gras :)

On est d'accord. Cependant ça reste sur une seule machine. Donc mis à part pour le desktop je ne vois pas trop l’intérêt.

J'ai adoré lire ce commentaire. Ce sont très exactement les raisons pour lesquelles j'adore mon métier. J'ai passé des années à debug les applicatifs de mes clients sans en avoir le code. Simplement en regardant l'impact de leur code sur la machine. J'ai donc fait du monitoring mon métier pendant de longues années.

Aujourd'hui je développe moi même une application et j'ai gardé cette maniaquerie de tout log, de tout monitorer, de récupérer toute les sortie d'erreur, d'avoir des scénarios de tests qui tournent en permanence et qui me remontent toutes sortes de métriques.

Au final il est rare que j'ai des bugs. Que des choses ne marchent pas et ça devient vraiment frustrant. Alors je ne sais pas si l'informatique (que j'utilise) est devenu vraiment stable, si c'est moi qui suis devenu pas trop mauvais avec le temps ou si ce que je fais reste finalement simple. Probablement un peu des trois. Alors je calme ma frustration en lisant la ml de ceph pour voir les problèmes des autres, ou bien linuxfr.

Mais moi des problèmes techniques en informatique j'en ai plus et ça me rend triste dans un sens.

Bonjour,

j'ai fait 5ans d'étude sous netbsd, j'ai appris à faire du C avec. J'ai un fan de bsd et de zfs en face de moi depuis 15ans. C'est vrai, BSD c'est rustique mais c'est stable. J'ai gardé des ces années sous netbsd le plaisir d'avoir un desktop simple mais pas simpliste. J'utilise i3 mais quand je branche une clé USB elle se monte toute seule et ça j'aime bien. Peut etre que aujourd'hui bsd le fait mais à l'époque ce n'était pas la cas.

Mon desktop sous debian, mes serveurs sous debian, mon laptop sous debian, mon nas sous debian, tout ça est très stable aussi. En fait c'est tellement stable que la question de la stabilité ne se pose même pas. Les mises à jours de sécurité se font toutes seules (oui même en prod). Jamais je n'ai de problème. Je suis même assez souvent surpris que les choses marchent (la visite médicale avec teams (..), les réunios clients avec zoom, la caméra no name acheté chez auchan pendant le confinement, mon micro usb premier prix).

Il reste la licence et zfs. Franchement ZFS comme BTRFS j'ai jamais compris. Pour moi un fs tout seul sur une machine n'a aucun sens. Après c'est mon utilisation je ne stocke pas grand chose sur ma machine perso. Je n'ai donc pas besoin de ces fs et de loin ca ressemble quand même pas mal à une usine à gaz. Pour ma prod c'est ceph.

Enfin la licence. D'aussi loin que je me souvienne c'est le même genre que le débat emacs/vim. Personnellement je pense qu'il n'y a de liberté que celle des plus forts sur les plus faibles. Tout en sachant que de liberté il n'y a que celle de prendre conscience qu'il n'y en a aucune. Et encore. Mais bon la on ne parle plus d'informatique.

| "We came for the licence, we stay for the licence" Netflix

Bonjour,

si tu sais faire un peu de python tu devrais peut être jeter un œil à panda. Ça me simple bien plus simple.

Après le bon outil est l'outil qu'on maitrise.

hello

pareil ici. FTP partout. Un vieux windows 7, deux android, une freebox et deux linux. ftp c'est bien :)

oau

la saleté de clavier

oh que oui ! de tête pour faire un pipe c'est 3 touches. Trop pour moi. Comment on peut coder avec le clavier du mac ??

Après au tout début des portables mac (ibook g3 vers 2003/2004) on pouvait avoir un ordi portable avec du wifi et une bonne autonomie pour wardriver dans les rues de paris la nuit pour moins de 1000€.

si ce n'est le pricing pas toujours évident à suivre et prévoir.

Et c'est rien de le dire. A chaque fois c'est la surprise pour mes clients en fin de mois. Avant il fallait être chaman pour faire marcher Windows maintenant il faut être chaman pour prévoir ta facture de gaz (gce, aws, azur).

oui désolé il était un petit peu tôt il eut été préférable de donner un peu plus d'explication et de spécifier que je n'ai rien à voir avec cette entreprise si ce n'est que j'en suis un client satisfait et que le repeuplement des campagnes est un peu mon dada :) (et que mes phrases sont bien trop longues).

Repeuplement qui me semble possible via la création d'espace de travail commun. Là ou je suis j'ai des comptables, une paysagiste, des éleveurs d'abeilles, un spécialiste de la sdram en embarqué, une formatrice en sécurité agricole, des infirmières, une spécialiste de la prévision météo dans une entreprise qui fabrique des éoliennes, un vendeur de poutre en béton et c'est très enrichissant.

Bonjour,

je voudrais partager mon expérience et mettre un petit bémol au télé travail.

C'est clair que c'est vraiment super. J'ai commencé à télétravailler en 2009. J'étais célibataire, au bord de la mer et dans ma ville natale. J'y ai retrouvé mes potes. J'ai vraiment passé des années super.

Puis j'ai déménagé dans un nouvel endroit que je n'aime pas trop, j'ai maintenant une famille. Pendant deux ans j'ai bossé seul de la maison. Et bien ça a été la grosse déprime.

Aujourd'hui je me suis trouvé un bureau dans un espace de coworking et c'est vraiment le bon compromis. Je fréquente des gens mais ne bosse pas avec. Donc pas de tension et uniquement les bon cotés. J'ai les 15min de changement ce contexte le matin et le soir. Et j'organise ma journée comme je l'entend.

https://www.relais-entreprises.fr

et donc ? il faudrait que j'accepte que toutes mes données de santé soient sous le joug de multinationales sur lesquels je n'ai aucun pouvoir démocratique ? bah non.

Et ça vaut pour tout ces milliardaires qui se pensent au dessus des autres parce qu'ils sont riches (Tu te crois supérieur parce que t'es mon supérieur ? - stupeflip) et qui s'octroient le droit de rendre des miettes de ce qu'ils ont volé à coup de com sur les vaccins, les recherches, leur participation à l'opensource (ahahahah …) etc. « Voler en grand et restituer en petit, c’est la philanthropie » (Paul Lafargue). Vivre en société c'est accepter de partager. Vivre en démocratie c'est accepter d'avoir un pouvoir démocratique sur les acteurs de la société. Ces gens la ont le plus besoin d'état pour les protéger et les rendre riche mais n'acceptent ni de partager, ni de contrôle démocratique. Au final ça finira mal. Pour eux.

"On prépare vos menus, on enlève vos ordures, on vous relie par téléphone, on conduit vos ambulances, on vous protège pendant votre sommeil. Jouez pas aux cons avec nous." Tyler durden.

merci beaucoup pour ces informations. J'ai toujours navigué avec firefox et un bloqueur de pub. (Adblock avant, Ublock origin aujourd'hui). Je ne comprend pas comment les gens peuvent accepter ce harcèlement. Ils ont probablement l'habitude. Personnellement la pub me rend malade. Le peu de temps que je passe dans le métro parisien me révulse, je ne regarde plus la tv autre que arte simplement parce qu'il n'y a pas de pub. Pareil pour la radio. Je n'écoute que france culture parce qu'il n'y a pas de pub. J'ai d'ailleurs découvert pendant les grèves de radio france les "autres radios". Le choc …. je n'étais pas prêt.

oui pardon c'est l'outils de bench rbd qui vient avec ceph.

ceph osd pool create scbench 128 128
ceph osd pool set scbench size 2
ceph osd pool set scbench min_size 2
rados bench -p scbench 30 write --no-cleanup
rados bench -t 32 -p scbench 30 seq
rados bench -t 32 -p scbench 30 rand
ceph osd pool delete  scbench scbench --yes-i-really-really-mean-it

Pour les cartes raid oui en avoir une avec une batterie est bien sur un plus. Mais dans mon cas une carte raid c'est 57€ HT par mois de plus. C'est à dire 50% de plus par node. Je n'ai pas les moyens et surtout je n'en ai pas le besoin vu mes mes gros I/O sont fait en local directement sur les nvme.

Personne n'a encore écrit de scheduler "CFQ" pour le réseau ? Il n'y a rien la dessus dans les cgroup ?

ça discute pas mal sur la ML sur le sujet ces derniers temps. Je dirais que non parce que pour le moment ce n'est pas la piste prise. En gros les monitor discutent avec les osd sur le même canal que les données du cluster. Sur un cluster très chargé avec beaucoup de discussion entre les osd, le message de supervision des monitors peut mettre plusieurs minutes à revenir. Ce qui a pour effet de sortir l'osd du cluster et de lancer une rééquilibrage les données à travers le cluster, donc de le charger encore plus etc.

certes. Mais tu compares deux choses qui n'ont rien à voir. Entre un nvme en local et un fs distribué bien sur que tu n'as pas les mêmes performances. Surtout avec un réseau à 2Gbps. C'est pour cette raison que mes pg tourne en local. Mais j'ai retrouvé mes premiers bench sur ma plateforme actuelle avant qu'elle ne passe en production.

fio -ioengine=libaio -name=test -bs=4k -iodepth=32 -rw=randwrite-direct=1 -runtime=60 -filename=/dev/rbd/kube/bench
WRITE: bw=45.3MiB/s (47.5MB/s), 45.3MiB/s-45.3MiB/s (47.5MB/s-47.5MB/s), io=2718MiB (2850MB), run=60003-60003msec
fio -ioengine=libaio -name=test -bs=4k -iodepth=32 -rw=randread -direct=1 -runtime=60 -filename=/dev/rbd/kube/bench
READ: bw=187MiB/s (197MB/s), 187MiB/s-187MiB/s (197MB/s-197MB/s),io=10.0GiB (10.7GB), run=54636-54636msec

Et pgbench me donnait 355 transaction per second sur le ceph

Voici un test sur ma préprop qui est au bureau. Avec 3 noeuds, 6 osd ssd. Mais surtout un réseau de 10Gbps en fibre. Qui fait donc bien 10Gbps.

Voisi le résultat en écriture avec un réplica de 2 ou j'ai un réplica de 3 en prod:

Total time run:         30.1047
Total writes made:      4503
Write size:             4194304
Object size:            4194304
Bandwidth (MB/sec):     598.311
Stddev Bandwidth:       164.823
Max bandwidth (MB/sec): 916
Min bandwidth (MB/sec): 416
Average IOPS:           149
Stddev IOPS:            41.2057
Max IOPS:               229
Min IOPS:               104
Average Latency(s):     0.106944
Stddev Latency(s):      0.0585435
Max latency(s):         0.45911
Min latency(s):         0.0203194

En lecture séquentielle

Total time run:       16.2453
Total reads made:     4503
Read size:            4194304
Object size:          4194304
Bandwidth (MB/sec):   1108.75
Average IOPS:         277
Stddev IOPS:          5.1316
Max IOPS:             287
Min IOPS:             270
Average Latency(s):   0.113968
Max latency(s):       0.362494
Min latency(s):       0.02719

En lecture aléatoire

Total time run:       30.1095
Total reads made:     8357
Read size:            4194304
Object size:          4194304
Bandwidth (MB/sec):   1110.21
Average IOPS:         277
Stddev IOPS:          10.3682
Max IOPS:             290
Min IOPS:             232
Average Latency(s):   0.113859
Max latency(s):       0.461317
Min latency(s):       0.0280363

On voit bien qu'on est limité par la bande passante du réseau.

Par contre une dernière chose qui peut potentiellement poser problème. Un client qui fait vraiment de très très gros IO sur un cluster peut totalement l'écrouler et pour le moment il n'y a pas vraiment de parade. Si ce n'est de tuer le dit client.

depuis 2014 les choses ont bien changé :

petit bench de mon cluster. 7 nodes avec des ssd de 1to et un lien de 2Gbps entre chaque. Sur chaque nodes tourne ceph mais aussi ma prod k8s

montage et formatage de l'image ceph.

rbd map kube/test
mkfs.ext4 /dev/rbd1
mount /dev/rbd1 /mnt/


Un petit dd dedans pour les perf en écriture :

dd if=/dev/zero of=test bs=8192k count=1000 oflag=direct
1000+0 records in
1000+0 records out
8388608000 bytes (8.4 GB, 7.8 GiB) copied, 71.8563 s, 117 MB/s


Les performances de ceph dépendent clairement du réseau. Plus gros sera le réseau plus ca ira vite. Il faut aussi bien faire attention au disques choisis.

Je pense qu’on s’est mal compris. Le posgresql en sus qui tourne dans ceph et qui est un replica de la production qui tourne sur des disques en local n’est là que pour avoir la possibilité d’en faire un snapshot.

Mais tout est géré par k8s. Aussi bien le cluster de postgres de prod qui est géré par helm et qui a un Persistent Volume local géré aussi par k8s, et le postgres en sus qui est une image docker que j’ai faite mais qui est géré aussi par k8s (dans un statefulset) et qui a un Persistant Volume dans ceph et enfin les Snaphot de la base dans ceph sont eux aussi géré par k8s via la fonctionnalité de Snapshot de k8s. Je ne fais absolument rien hors de k8s.

Pour clarifier la gestion sur stockage dans k8s. Il y a plusieurs choses.

Le plus simple c’est le stockage éphèmere. Le container écrit sur le disque local du node qui le fait tourner. Quand le container s’arrête tout est perdu.

Ensuite on a la couche stockage persistant. On a d’abord un type storageclass. Dans mon cas j’en ai deux. Une locale et une pour ceph.

Pour la locale je dois créer à la main les lv et les assigner ensuite dans un Persistant Volume (PV), je ne crois pas qu’on puisse encore lui donner un vg et débrouille-toi pour créer les lv.

Pour ceph c’est plus simple. Je crée un Persistant Volume Claim (PVC) qui va créer automatiquement le PV avec la bonne taille.

Avec tout ça il y a un volumesnapshotclass et un volumespnashot qui vont me permettre de créer des snapshot de mes PVC et de les transformer en PV. Ça m’évite de copier 50G de base quand j’ai besoin d’une nouvelle pile pour tester une branche de notre dev.

Là je snapshot mon postgres qui tourne dans ceph et je démarre un nouveau postgres sur le PV créé à partir du snaphost. Merci à postgres d’être capable de se relancer proprement à partir d’un snapshot totalement inconsistant. J’ai vu qu’une commande fsfreeze existait mais pour le moment ça marche.

Donc maintenant j’ai mon pvc.

Si je l’utilise dans un déploiement tous mes pod vont pouvoir y accéder. J’ai donc un volume partagé entre tous mes pods.

Si je l’utilise dans un Statefulset un seul pod pourra utiliser mon pvc et le nom du pod sera fixe.

En tout cas, je note que l'on est loin d'avoir une solution pérenne et performante
pour gérer les données persistantes dans k8s.

Je ne suis pas d’accord avec ça. Depuis l’arrivée des Statefulset ce n’est plus le cas.

Tu ne peux pas avoir un soft qui se créait sa propre base de donnée et l'utilise (par > exemple avec helm).

Si tout à fait. C'est le cas de gitlab, de owncloud par exemple. Tu leur donnes le nom de ta storageclass et ils se débrouillent.

En vrai ça dépend de la taille de ton cluster ceph. Si comme moi il est tout petit en stockage (30to) et moins petit en node (7 nodes) effectivement on s'en fout.

Mais sur un cluster plus gros ceph peut être assez violent quand il se reconstruit sur la consommation des ressources. Principalement parce que souvent les gens mettent 3 machines avec 48 disques de 12to. Et quand une machine meurt ou reboot sans le petit noout qui va bien et bien il faut reconstruire beaucoup de données. Si tu as sur les mêmes machine ta prod k8s elle va en souffrir.

C'est vrai. Mais je suis très stressé sur la pérennité des données que je reçois. Alors je réplique partout et je backup tout le temps. Mon cluster ceph est d'ailleurs répliqué sur un autre DC au cas ou …

Pour tout dire je reçois mes flux de données sur un serveur. Je transfère les données brutes dans l'object storage de ceph et dans kafka, qui lui a sont propre moyen de réplication et a qui j'ai donné des disques dans ceph. Donc encore répliqué. Et je retiens les données dans kafka indéfiniment.

Ensuite ça passe dans un ETL qui envoie ça dans une base postgres avec 4 réplica. 3 sur des disques locaux géré avec stolon et 1 dans ceph. Celui dans ceph permet de faire des snapshots de postgres pour démarrer une stack de dev avec les même données que dans la prod et alimenté par le kafka. Stack qui est démarré automatiquement quand je pousse une nouvelle branche dans gitlab.

Au final mes dev peuvent avoir en 2/3min une pile applicative complète et à jour sur laquelle développer juste en créant une nouvelle branche.

Et enfin la sortie de l'ETL va aussi dans EKS de même que tout mes logs pour faire un peu de data visualisation avec kibana. Mais sur ce point je ne suis vraiment pas au top.

Pour pouvoir garder tes données ? Si j'installe un elastiksearch je veux pouvoir conserver mes données si la machine disparaît pour une raison ou une autre. Si je n'ai pas de fs partagé les données sont en local. Ou dans un stockage éphémère qui disparaît quand le pod redémarre ou dans un Persistent Volume local qui disparaîtra si la machine disparaît. Qu'elle crashe, qu'elle disparaisse du réseau, que le disque meure etc.

Je n'ai encore vu si la modes des clusters k8s était de séparer serveur de calcul et serveur de fichiers > (de volumes, SAN…), ou bien de faire n machines identiques, avec partage distant ou non des fichiers par > une techno d'accès réseau.

Ça ce n'est qu'un question d'argent. Si tu es riche tu as 3 machines maîtres k8s et 3 autres monitor pour ceph. N machines pour tes données cephs (OSD) et N autres machines pour k8s (les computes). Si tu es pauvre comme moi tu as 7 machines identiques qui font tout :) et vraiment pour mon usage c'est tout à fait bien.

Effectivement pour mes bases je n’utilise pas ceph. j'utilise stolon que je déploie avec helm et qui gère la réplication de postgres. Postgres qui tourne sur le stockage local qui sera quand même toujours plus rapide que ceph.

Ceph c'est plus pour les disques de elastiksearch, prometheus, pour notre owncloud et comme object storage. Je l'utilise aussi pour les applications que je déploie directement avec helm comme gitlab ou un peu à la mains comme zimbra.

Ceph n'est pas une obligation mais avoir un stockage partagé oui. Tu peux utiliser autre chose. HDFS je n'ai jamais utilisé. Mais vraiment ça ne me donne pas envie, de loin ca à l'air particulièrement lourd. Sur la ML de ceph beaucoup de gens cherchent à remplacer HDFS par ceph.

pour tester microk8s est bien plus simple je trouve que minikube qui dans mon souvenir nécessite virtualbox ou kvm