Dans mon boulot, je stocke des images issues de caméras dans des bases de données SQLite. Une par minute. Avec une durée de rétention de 30 jours.
On va dire, à la grosse louche, qu'il y a environ 8000 caméras (c'est réparti sur toute l'Europe).
Donc, 8000 caméras × 30 jours × 1440 minutes par jour = 345 600 000 bases SQLite.
Et même si je me suis trompé d'un facteur 2 (j'ai bien un Ansible pour les compter, mais c'est looooong à exécuter), c'est quand même plus de 120 millions.
Oui, il y a une base par minute, mais chaque base contient toutes les images d'une minute. Dans mon cas, ça fait entre 60 et 240 entrées, on va rarement au-delà de 6 images par secondes.
La granularité est plutôt historique : au début, les images étaient enregistrées dans des fichiers JPG séparé. Et un répertoire par minute permettait de mieux gérer ça plutôt qu'un répertoire par heure avec beaucoup trop de fichiers dedans. Et puis on s'est rendu compte que malgré tout, avoir des millions de fichiers sur une partition, c'est horriblement coûteux en temps d'accès et écriture de métadonnées. Donc notre solution (après moult essais) a été de tout rassembler, mais en gardant la même structure de répertoire, pour ne pas trop perturber les autres outils qui gravitent autour, notamment la suppression automatique.
Je sais pas trop quoi faire de cette info. sqlite n'est pas une base de données comme les autres. sqlite est beaucoup utilisé comme format de fichier. Est-ce qu'il faut comparer ce nombre au nombre d'instance de MySQL ou au nombre de fichier excel dans la nature ?
# trillion
Posté par Colargol . Évalué à 3.
Dans l'article trillion désigne 1e12 et non 1e18 (voir https://fr.m.wiktionary.org/wiki/trillion )
[^] # Re: trillion
Posté par Lutin . Évalué à 2.
Donc un billion. Ça reste un gros nombre.
[^] # Commentaire supprimé
Posté par Anonyme . Évalué à 4. Dernière modification le 07 décembre 2021 à 17:22.
Ce commentaire a été supprimé par l’équipe de modération.
# Nombril
Posté par Stéphane Bortzmeyer (site web personnel, Mastodon) . Évalué à 4.
Dont plusieurs chez moi :-)
[^] # Re: Nombril
Posté par claudex . Évalué à 4.
J'allais le dire, rien qu'avec un smartphone sous Android, ça doit en faire une petite brouette.
« Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche
[^] # Re: Nombril
Posté par Stéphane Bortzmeyer (site web personnel, Mastodon) . Évalué à 3.
Je pensais à tous les projets dont je m'occupais (persos ou pros) et qui avaient une base SQLite.
[^] # Re: Nombril
Posté par claudex . Évalué à 4.
Du coup, les bases sont surtout chez les autres :)
« Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche
# Estimation à la louche
Posté par Glandos . Évalué à 4.
Dans mon boulot, je stocke des images issues de caméras dans des bases de données SQLite. Une par minute. Avec une durée de rétention de 30 jours.
On va dire, à la grosse louche, qu'il y a environ 8000 caméras (c'est réparti sur toute l'Europe).
Donc, 8000 caméras × 30 jours × 1440 minutes par jour = 345 600 000 bases SQLite.
Et même si je me suis trompé d'un facteur 2 (j'ai bien un Ansible pour les compter, mais c'est looooong à exécuter), c'est quand même plus de 120 millions.
Voilà voilà :)
[^] # Re: Estimation à la louche
Posté par Papey . Évalué à 7.
Du coup il n'y a qu'un enregistrement par base ? Quel est l'avantage d'utiliser SQLite dans ce cas d'usage ?
[^] # Re: Estimation à la louche
Posté par xoddark . Évalué à 1.
C'est sans doute une base par minutes, pour plusieurs images. Donc plusieurs images par base 😀
[^] # Re: Estimation à la louche
Posté par Thomas Douillard . Évalué à 7.
Des BPM ? Il faut mettre l’équipe TapTempo sur le coup.
[^] # Re: Estimation à la louche
Posté par Glandos . Évalué à 5.
Oui, il y a une base par minute, mais chaque base contient toutes les images d'une minute. Dans mon cas, ça fait entre 60 et 240 entrées, on va rarement au-delà de 6 images par secondes.
La granularité est plutôt historique : au début, les images étaient enregistrées dans des fichiers JPG séparé. Et un répertoire par minute permettait de mieux gérer ça plutôt qu'un répertoire par heure avec beaucoup trop de fichiers dedans. Et puis on s'est rendu compte que malgré tout, avoir des millions de fichiers sur une partition, c'est horriblement coûteux en temps d'accès et écriture de métadonnées. Donc notre solution (après moult essais) a été de tout rassembler, mais en gardant la même structure de répertoire, pour ne pas trop perturber les autres outils qui gravitent autour, notamment la suppression automatique.
# Et ?
Posté par barmic 🦦 . Évalué à 5.
Je sais pas trop quoi faire de cette info. sqlite n'est pas une base de données comme les autres. sqlite est beaucoup utilisé comme format de fichier. Est-ce qu'il faut comparer ce nombre au nombre d'instance de MySQL ou au nombre de fichier excel dans la nature ?
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.