Journal Parcours de fichiers/répertoires

Posté par blackshack le 22 mai 2003 à 21:12.

Étiquettes : aucune

mai

2003

Considérons 100.000 fichiers (le nbre importe peu, mais gros, et pour l'instant sans prendre en compte leur taille), donc 100.000, est il plus rapide -de facon logiciel, pas avec nos petits yeux fatigués- de parcourir ces fichiers lorsqu'ils sont dans un seul répertoire, ou lorsqu'ils sont réparti dans une arborescence -pas explosé l'arborescence-?
Deuxième question, cette fois ci en prenant en compte la taille des fichiers la méthode la plus rapide lors de gros fichiers? lors de petits fcihiers?

(en l'occurence c pour un projet traitant un gros volume d'image -largement + de 100.000- soit en format jpeg, png ... petit vokume donc, soit en bmp brute de scan a 600dpi, gigantiesque donc...

Qu' en pensez vous??

# Re: Parcours de fichiers/répertoires

Posté par Pascal Terjan (site web personnel) le 22 mai 2003 à 21:23. Évalué à 1.

Je pense qu'on se fout de la taille.
- [^] # Re: Parcours de fichiers/répertoires
  
  Posté par cedric le 22 mai 2003 à 23:25. Évalué à 3.
  
  Pas vraiment non. Si tu regardes les perfs de ReiserFS par rapport a d'autre systeme de fichiers. L'utilisation de beaucoup de petits fichiers dans un meme repertoire l'avantage enormement. C'est d'ailleur pour cela qu'on le conseille pour les serveurs de mail/news. Par contre des qu'on depasse les 64Ko, on tombe dans une categorie ou les systemes de fichiers tel que ext3 ou XFS prefere avoir peu d'entre par repertoire, mais des fichiers de tailles raisonnable pour ext3 (<100Mo) et vraiment enorme pour XFS.
  En fait XFS est plus destine a supporte la charge d'un serveur de video, tandis que ext3 se complet dans des fichiers plus "bureautique" comme les bmp, les mp3 et les .doc :-)
  Enfin, dans un avenir proche, Reiser4 nous promet d'etre aussi performant sur les petits fichiers que sur les gros. Maintenant ce n'est qu'une annonce, mais tu peux deja tester les beta, je crois.
# Re: Parcours de fichiers/répertoires

Posté par Jerome Herman le 22 mai 2003 à 21:39. Évalué à 1.

Ca depend de ton file system tout ca, et de ce que tu entend par "parcourir". Les file system unix sont generalement insensible aux nombre de repertoires, sauf quand le nombre de nodes libre commance a se faire rare.
Par contre ensuite il faut savoir si tu veux juste indexer tes fichiers, les lires, faire de recherches dedans ou bien les modifier, les sauvegarder ailleurs. Je pense qu'apres tu pourras choisir le langage que tu voudras utiliser pour faire ce traitement et ensuite en deduire l'architecture adaptee.

Kha
# Re: Parcours de fichiers/répertoires

Posté par Nÿco (site web personnel) le 22 mai 2003 à 22:29. Évalué à 1.

Au moment de la sortie du noyau 2.4 (et un peu avant et un peu après aussi), il y a eu un max de benchmarks plus ou moins (pas)poussés pour comparer les différents filesystems... tu devrais pouvoir trouver un max de docs en stfw qui repondrait plus ou moins directement à tes questions.