Journal Accès gratuit a une ferme de rendering blender (250 CPUs!)

Posté par (page perso) .
Tags :
33
6
déc.
2008
Le labo pour lequel je travaille vient de mettre a disposition de la communauté blender une ferme de rendu composée d'environs 250 CPUs...

L'accès a cette ferme est gratuit et se fait via un portail (http://rendering-portal.cpc.wmin.ac.uk/). Le but de l'initiative est de comprendre les besoins de la communauté et d'essayer de répondre au mieux a leur problématiques en utilisant le "grid-computing".

Essayez le!

L'annonce originale:

We are the Centre for Parallel Computing (CPC) at the University of Westminster, London. As the name suggest, we are interested in parallel computing, particularly in computer grids. We would like to promote Blender on the Grid and we kindly ask for your help.

We created a simple rendering portal, which uses our 256 CPU AMD Opteron cluster. You can use it to render your Blender projects and we are offering this free of charge. Please give it a try!

We are looking for feedback because we wish to understand the needs of Blender users and to improve the portal.
  • # Merci ...

    Posté par (page perso) . Évalué à 5.

    ... pour l'initiative.

    Le lien du journal provoque une 404.

    Peux-tu détailler les conditions de calcul ? Notamment :

    - Images fixes ou animées ? Limite de résolution ?
    - Limite de temps de calcul : par image ? par job soumis ?
    - Limite de nombre de CPU par job ? de RAM ?
    - Moteurs de rendus : YafRay, Yaf(a)Ray, SunFlow, Kerkythea, Indigo sont-ils disponibles ?
    - OS ? (impact éventuel sur la disponibilité de certains renderers)
    - Quel moyen de soumettre / récupérer des données.
    - Licence / termes d'utilisation des données fournies et des images / vidéos calculées chez vous.
    - Durée (approximative) prévisionnelle de disponibilité du service : en gratuit ? en payant ?

    Bon courage pour ce projet, tiens nous au courant !
    • [^] # Re: Merci ...

      Posté par . Évalué à 5.

      <citeELe lien du journal provoque une 404.
      La faute de la parenthèse et du point :
      http://rendering-portal.cpc.wmin.ac.uk/
    • [^] # Re: Merci ...

      Posté par (page perso) . Évalué à 10.

      C'est expliqué sur le site :)

      - Images fixes ou animées ? Limite de résolution ?
      Les deux... aucune limite spécifique concernant la resolution... si ce n'est que les fichiers .blend uploadés sont limités a 100Mo

      - Limite de temps de calcul : par image ? par job soumis ?
      600 frames max et 5mins par frame pour les comptes standards (sera ajusté en fonction de la disponibilité du service dans le futur)

      - Limite de nombre de CPU par job ? de RAM ?
      Hmmm, chaque "frame" est rendue sur un noeud du cluster et a 5mins pour s'exécuter:
      64 machines avec :
      o 2 x AMD Opteron 2218 (2.6 GHz, 4 cores per node)
      o 4GB memory
      o 20Gbps Infiniband

      - Moteurs de rendus : YafRay, Yaf(a)Ray, SunFlow, Kerkythea, Indigo sont-ils disponibles ?
      Pas pour l'instant... mais c'est une des choses que l'on peut faire :) Il y a deja eu des demandes pour YafaRay

      - OS ? (impact éventuel sur la disponibilité de certains renderers)
      SLES10/Linux/amd64

      - Quel moyen de soumettre / récupérer des données.
      Via le portail (http)

      - Licence / termes d'utilisation des données fournies et des images / vidéos calculées chez vous.
      La je ne peux pas paraphraser ce qui est écrit sur le site ouaibe (il n'y a que la license en anglais qui a une valeur legale)... Mais en gros les donnees vous appartiennent toujours et on s'engage a ne pas les publier ni meme a y acceder sauf en cas de probleme technique

      - Durée (approximative) prévisionnelle de disponibilité du service : en gratuit ? en payant ?
      C'est une des questions pour laquelle je n'ai pas de reponse: ca dependera de l'usage qui est fait du portail...
      • [^] # Re: Merci ...

        Posté par (page perso) . Évalué à 2.

        Merci pour la réponse. Comme tout le monde s'en est douté, je n'avais encore lu le site à la rédaction de mon commentaire, parce que le lien erronné toussa.

        Pas de chance pour moi, mes images durent largement plus de 5 minutes a priori, et je n'utilise pas l'internal. Bonne chance à ton équipe et au projet en tous cas !
        • [^] # Re: Merci ...

          Posté par (page perso) . Évalué à 5.

          C'est justement ce genre de retour que l'on attend:

          Quelle taille font tes images? combien de temps faut-il par frame? Quel moteur de rendu utilises-tu? Ces images, c'est personnel/professionnel/pour un projet libre? As tu deja utilise les services d'une "rendering farm"?

          Comme tu t'en doutes surement toutes les limites évoquées sont des "soft-limits"...
          • [^] # Re: Merci ...

            Posté par (page perso) . Évalué à 5.

            Quelques éléments qui t'aideront j'espère :
            - Mes images sont en général en 1920x1080, format de sortie PNG. Que des images fixes jusqu'à présent, aucune vidéo, mon travail n'est pas encore assez bon pour y consacrer le temps de rendu nécessaire.
            - Le temps de rendu d'une image est entre 10 minutes et 2 heures (rendu de test clay / rendu final ou en qualité équivalente) sur une config Core2Duo ~3GHz avec 2Go de RAM. Sans parler des micros rendu type 10s pour équilibrage de lumière par exemple.
            - Les rendus sont faits avec Yaf(a)Ray pour mon projet actuel (modèle réaliste et détaillé d'une voiture : Lamborghini Murcielago LP640 Roadster) et YafRay dans mes projets précédents.
            - Uniquement des projets personnels, c'est seulement un "hobby" (voir mon site perso ou SMC sinon : www.smcars.net, mon nick est tom120934) Pas de projet libre faute d'avoir trouvé un projet que je serais susceptible d'aider.
            - Je n'ai jamais utilisé une rendering farm (j'ai une machine bi xéon 8 coeurs 2.66 GHz pas loin si besoin), par contre j'ai été utilisateur de clusters type IBM SP ou Bull NovaScale pour des calculs aérodynamique. Les problématiques de soumission de jobs, de gestion des entrées et des sorties, de l'allocation de ressources, etc. sont identiques de mon point de vue.

            Un bon élément pour quantifier la perfo de vos machines / configurations serait de poster le temps d'un noeud pour le benchmark : http://www.eofw.org/bench/. Ca permettrait à vos utilisateurs d'estimer les temps de rendus sur vos machines à partir de celui de leur machine.

            Une dernière remarque : la possibilité pour vos utilisateurs/clients de conserver certaines ressources pour plusieurs jobs est importante : par exemple, une image HDRI de fond de bonne résolution peut peser plusieurs dizaines de Mo, devoir la réuploader à chaque changement de la scène serait très pénible.
            • [^] # Re: Merci ...

              Posté par (page perso) . Évalué à 7.

              si t'aimes bien les voitures, le jeu torcs http://jeuxlibres.net/showgame/torcs.html sera sans doute content d'avoir des modèles supplémentaires :-) (en plus le développement a l'air d'avoir repris récemment avec une 1.3.1-test1).

              Bon, je ne sais pas trop si les modèles peuvent être issus de blender, il y a sans doute du boulot supplémentaire pour la physique liée au véhicule retenu...

              Sinon autour de blender, nous hébergeons quelques projets qui font du libre
              http://projects.tuxfamily.org/tagsearch.pl?tag=226
              • [^] # Re: Merci ...

                Posté par (page perso) . Évalué à 6.

                Excellente idée. Je n'avais pas jeté un coup d'oeil à TORCS depuis un bail, et je suis agréablement surpris du chemin parcouru.

                J'ai proposé mon aide, on verra ce qu'il en est.
      • [^] # Re: Merci ...

        Posté par . Évalué à 2.

        Une image par noeud?

        À défaut d'avoir adapté le moteur de rendu pour qu'il se parallélise sur tout un cluster, ça reste de l'ordonnoncement de tâche par noeud libre, non?

        Sinon, j'ai cru comprendre que Yafray permettait réellement de tirer avantage d'un grid, avez-vous des infos à ce sujet?
    • [^] # Re: Merci ...

      Posté par . Évalué à 2.

      Moteurs de rendus : YafRay, Yaf(a)Ray, SunFlow, Kerkythea, Indigo sont-ils disponibles ?

      SunFlow ne semble plus maintenu depuis le début de l'année (et SunFlow est écrit en Java ce qui est peut-être une contrainte pour une ferme de rendu)

      Je n'ai pas trouvé de version récente d'Indigo pour Linux et d'après les forums, ils conseillent d'utiliser la version Windows avec Wine

      YafRay est encore maintenu depuis qu'une première version de Yaf(a)Ray est sorti ?

      Par contre, je ne connaissais pas Kerkythea mais il ne semble pas OpenSource.
      • [^] # Re: Merci ...

        Posté par (page perso) . Évalué à 3.

        En effet SunFlow est probablement la 1ère victime de la concentration chez les renderers, tendance "collection non-biaisé automne hiver 2007 2008". Comme tu le dis, les choix techniques de départ étaient très personnels (pas de troll Java J2EE toussa, juste que c'est le seul renderer Java dont j'ai jamais entendu parlé)

        Indigo est quant à lui victime de ses temps de rendus par trop prohibitifs.

        YafRay n'est effectivement plus maintenu, et ce pas seulement depuis la sortie de Yaf(a)Ray 0.1.0. Blender n'est d'ailleurs plus compatible avbec YafRay 0.0.9 depuis la version (je crois) 2.46 (incluse)

        Par contre, YafRay a été présent sur la scène plus de temps que les autres (réunis ?) Il semble encore opportun de le supporter, vu la masse probable d'utilisateurs et la jeunesse de Yaf(a)Ray (pas au sens jeune = moindres qualités, plutôt au sens jeune = peu de temps pour se faire adopter massivement)

        Kerkythéa n'est effectivement pas libre, mais il est dans la série des autres (sa masse d'utilisateurs me semble comparable, même si pas identique) Sa licence interdit la redistribution en quasiment toutes circonstances : seul le point à point est accepté et encore, sans modifications et sans bénéfices.

        Il semble clair que peu de gens travaillent en prod avec tous ces moteurs (sauf pour faire une étude comparative) : le paramétrage fin des shaders de chacun demanderait trop de temps. Mais la diversité étant une force, j'ai souhaité citer les grands noms. J'aurais pu rajouté MentalRay ou VRay, car certains utilisent Blender avec ce genre de moteurs commerciaux.
  • # Une dépèche

    Posté par (page perso) . Évalué à 10.

    Ça vaut largement une dépêche non?
  • # Le vrai but ?

    Posté par (page perso) . Évalué à 0.

    Le but de l'initiative est de comprendre les besoins de la communauté et d'essayer de répondre au mieux a leur problématiques
    Je suis dubitatif c'est le moins qu'on puisse dire. 256 processeurs un peu haut de gamme juste comme ça, pour qu'un labo sache ce dont certains utilisateurs ont besoin ?

    Le moins cher des Opteron coûte dans les 70 € HT. On ajoute une carte-mère bas de gamme (35 €), un poil de mémoire (15 €), une alimentation pourrie (10 €), un ventirad basique (5 €), un semblant de boîtier (15 €), ça fait 150 € par machine (prix mini-mini-mini, sans compter les locaux, les alimentations électriques, le stockage) soit presque 40.000 € les 256 machines. Et si c'est en rack 19" c'est le double. Utiliser des Opteron en bi ou quadri processeur coûte encore bien plus cher.

    C'est forcément en rack d'ailleurs :-) Donc 80.000 € mini-mini-mini.
    On ne dépense pas 80.000 € sans arrières pensées.
    • [^] # Re: Le vrai but ?

      Posté par (page perso) . Évalué à 10.

      Il est écrit nulle part que le cluster en question est dédié a la rendering farm...

      On a d'autre applications qui l'utilisent... et le scheduler gère les priorités. Vu que l'on est très loin de l'utiliser a 100% et que ces machines doivent rester up 24h/24 ... on met a disposition les ressources que l'on n'utilise pas. Pourquoi faut-il tout le temps que les gens voient le mal partout?

      Pour les stats d'utilisation:
      http://ganglia.ngs.wmin.ac.uk/
      • [^] # Re: Le vrai but ?

        Posté par . Évalué à 1.

        Pourquoi faut-il tout le temps que les gens voient le mal partout?

        Parce qu'ils aiment bien se dire que si ça marche pas comme ils veulent c'est parce que d'autres en profitent pour faire des trucs pas bien dans leur dos et qu'ils ne veulent pas aller chercher plus loin la plupart du temps ;)
      • [^] # Re: Le vrai but ?

        Posté par (page perso) . Évalué à -4.

        Pourquoi faut-il tout le temps que les gens voient le mal partout?
        Le mal non, mais je me doutais qu'il manquait des infos importantes. Ca n'a pas raté.

        Tu relaies l'information comme quoi ton labo met librement à disposition 256 processeurs pour Blender (en oubliant de préciser que ce n'est que partiellement, comme si c'était anodin) et que le but est de connaître les besoins de la communauté. Quelques temps plus tard tu affirmes que finalement c'est fait sur le temps libre de la grappe de calcul. Ah déjà ça sent le coup de communication bien comme j'aime. Informations incomplètes et/ou biaisée et arguments "on est là pour vous aider, promis".

        Il n'empêche que derrière "we wish to understand the needs of Blender users and to improve the portal" il y a bien un but. Ce n'est pas juste pour écrire un article sur Wikipedia ou pour se faire plaisir. "to improve the portal" pour quoi faire ?
        • [^] # Re: Le vrai but ?

          Posté par (page perso) . Évalué à 10.

          >en oubliant de préciser que ce n'est que partiellement, comme si c'était anodin)

          C'est anodin; Le service est gratuit: tu soumets un job ... et il sera fait quand ton tour viendra dans la queue. Qu'il y ait 256 processeurs ou pas ne changera rien au fait que tu n'as pas l'acces exclusif aux ressources!

          Encore une fois, le portail est publique: que ce soit "nous" qui lancions des taches non-blender sur le cluster ou ton voisin qui lance son job de rendu, ca ne change rien au fait que *TON* job ne tournera que quand ce sera son tour.

          Il y a deja 520 utilisateurs enregistres... tu partages deja les processeurs avec eux.

          > Quelques temps plus tard tu affirmes que finalement c'est fait sur le temps libre de la grappe de calcul

          Benh... oui. Et si t'avais regarde les stats, tu verrais que y'a quand meme beaucoup de temps libre.

          >Ah déjà ça sent le coup de communication bien comme j'aime. Informations incomplètes et/ou biaisée et arguments "on est là pour vous aider, promis".

          Heuh, a partir du moment ou le service est mis *gratuitement* a disposition et sans contre partie, je ne vois pas le probleme.

          >Il n'empêche que derrière "we wish to understand the needs of Blender users and to improve the portal" il y a bien un but. Ce n'est pas juste pour écrire un article sur Wikipedia ou pour se faire plaisir.

          Ah bon? A ce que je sache, la ferme de rendu blender doit etre le seul projet du labo qui n'a pas de financement!

          > "to improve the portal" pour quoi faire ?

          Benh le portail ne sert pas qu'a faire du rendu blender... Regardes le site du labo si les activites annexes t'interessent... Tu y trouveras des informations "completes" (pour autant que ca existe) par opposition au journal que j'ai poste ici.
          • [^] # Re: Le vrai but ?

            Posté par (page perso) . Évalué à -8.

            a partir du moment ou le service est mis *gratuitement* a disposition et sans contre partie, je ne vois pas le probleme.
            MSN est également gratuit, je suppose que tu ne vois aucun problème à cela, hum ? De même que tout un tas de choses "au service de la communauté" tels que les outils fermés de Canonial et bien d'autres. Tu as raison, lorsque c'est gratuit il n'y a aucune question à se poser.

            La question de base est: quel est votre but ? Tu n'y as toujours pas répondu. Tu noies le poisson avec tout un tas d'arguments. Encore une fois, on ne mets pas à disposition une grappe pour le simple plaisir. Si tu es naïf au point de croire à la communication officielle de ton labo, grand bien t'en fasse :-)
            • [^] # Re: Le vrai but ?

              Posté par . Évalué à 4.

              La question de base est: quel est votre but ? Tu n'y as toujours pas répondu.
              Sauf ton respect, il me semble qu'il y a répondu, par exemple
              We are looking for feedback because we wish to understand the needs of Blender users and to improve the portal.

              Ensuite que cette réponse te semble insuffisante, c'est un autre problème.

              Ils proposent un service gratuit, ne t'enlève pas tes droits sur tes oeuvres, et il ne me semble pas qu'ils veuillent récupérer toutes les données nominatives à des fins autre qu'assurer le bon fonctionnement du service, qu'est ce qui te gêne ?
              La situation est complètement différente de msn (qui interdit l'accès au service par autre chose que le client officiel, qui se réserve le droit de logger toutes les conversations, ...) ou de canonical (qui ne met pas franchement des cpu pour faire du grid computing, mais offre un framework collaboratif pour par ex la traduction).
              • [^] # Re: Le vrai but ?

                Posté par . Évalué à 4.

                Je ne pense effectivement pas que vous soyez des grand méchants, comme ont l'air de penser certains ici ...
                Par contre, je me demande ce que vous allez faire des informations renvoyées par les utilisateurs sur leur utilisation de la grille. C'est pour sortir une étude publique ? Ou seulement pour améliorer votre process interne ?
                Je n'utiliserai pas votre service puisque je n'utilise pas blender, mais c'est juste pour essayer de reformuler les sortes de "craintes" de certains.
                • [^] # Re: Le vrai but ?

                  Posté par (page perso) . Évalué à -3.

                  Me concernant, ce ne sont pas des craintes :-) Je n'utilise pas Blender non plus, et je n'ai pas besoin d'une grappe de calcul.
                  Par contre je sais pertinemment qu'on ne met pas ce genre d'engin à disposition juste "pour connaître les besoins". Les connaître et puis quoi ? Vu le temps et l'argent que ça leur coûte, soit ils ont trop d'argent (on y croit), soit il y a un objectif qui est pour l'instant dissimulé. Ceux qui vivent au pays des Bisounours croient éventuellement à la jolie fable "on vous prête notre joujou qui coûte des dizaines de milliers d'euros car on vous aime, et tout le monde il est beau, tout le monde il est gentil".

                  On peut cependant avoir une petite idée lorsqu'on lit les forums traitant de ce projet: ça fonctionne très mal et il y a au moins une personne qui s'occupe de lire les forums, de répondre aux messages et de corriger les problèmes. Donc en gros ils mettent au point une grille pour Blender, profitent de publicité "virale", et de retours d'expériences des utilisateurs. Pour l'instant c'est une version béta, et bientôt ce sera une spin-off.
                  • [^] # Re: Le vrai but ?

                    Posté par . Évalué à 10.

                    Donc en gros ils mettent au point une grille pour Blender, profitent de publicité "virale", et de retours d'expériences des utilisateurs. Pour l'instant c'est une version béta, et bientôt ce sera une spin-off.

                    Oh oui c'est sur, t'as juste oublie de remarquer que c'est une universite qui fait ca, pas une societe, que ce cluster est utilise a d'autres fins aussi, qu'ils ne font pas de publicite virale car ils ne visent absolument pas les entreprises, ...

                    Et le plus drole, il ne t'est pas passe par l'esprit un instant qu'une universite a besoin d'observer une phenomene (utilisation du cluster lors de ce type de calculs) avant de trouver des moyens d'ameliorer le fonctionnement, bref le boulot typique d'un labo de recherche.

                    Mais bon, il est toujours plus facile d'accuser et etre negatif que faire qqe chose de positif et dire merci, c'est connu.
                    • [^] # Re: Le vrai but ?

                      Posté par (page perso) . Évalué à 2.

                      ils ne visent absolument pas les entreprises
                      Les universités, en particulier anglaises et étasuniènnes, vendent leurs services. C'est d'ailleurs écrit sur la page web de ceux qui fournissent "gracieusement" ce service. Ils indiquent que si tu as un besoin à but commercial, tu peux les contacter.
                      C'est comme au labo du BRGM près de chez moi. C'est à l'université, c'est un labo, mais ils vendent aussi leurs services. Idem pour un labo de physique que j'ai vaguement connu. Et c'est surement le cas dans (presque) tous les labo et toutes les universités qui arrivent à interesser du monde.
                      • [^] # Re: Le vrai but ?

                        Posté par . Évalué à 5.

                        Ah ben voila, certaines universites ont des partenariats avec des entreprises, il est donc logique d'accuser tous les labos de recherche d'etre mercantiles dans chacun de leurs projets....

                        C'est d'une logique assez ... originale pour ne rien dire d'autre.
            • [^] # Re: Le vrai but ?

              Posté par . Évalué à 7.

              Mais t'es un grand malade !

              Les gars se sont pris la tête à mettre à dispo le temps libre de leur CPU. J'imagine que ça à demandé un investissement au moins en temps, pour mettre ça en place. Il aurait été beaucoup plus simple pour eux de juste la fermer et voila...

              Ils vont clairement rien y gagner, regarde leur site !
              C'est pas une méchante boite capitaliste !
              Arrête un peu la parano...
              • [^] # Re: Le vrai but ?

                Posté par . Évalué à 0.

                Et kowalsky sauta à pieds joints dans la marmite où brûlait gentiment une soupe de trolls...
      • [^] # Re: Le vrai but ?

        Posté par (page perso) . Évalué à 1.

        > On a d'autre applications qui l'utilisent... et le scheduler gère les priorités. Vu que l'on est
        > très loin de l'utiliser a 100% et que ces machines doivent rester up 24h/24 ... on met a
        > disposition les ressources que l'on n'utilise pas. Pourquoi faut-il tout le temps que les
        > gens voient le mal partout?

        Je salue l'initiative.

        Je travaille aussi dans un établissement ayant moults clusters. On a les mêmes problèmatiques : Même avec les meilleurs schedulers du monde de demain, les grilles ou les morceaux de grilles sont rarement utilisés à 100%.

        Et c'est pas tous les jours que cette ressource est mise à disposition du public.

        (ici, on fait du climateprediction ou du decrypthon sur les "vieux" clusters avant recyclage)

        A+
    • [^] # Re: Le vrai but ?

      Posté par (page perso) . Évalué à 5.

      ou on veut répondre à un appel d'offre d'une société de prod qui utilise blender... ou louer ensuite un peu de "temps machien " a qui le souhaite (pourquoi pas). Pour ça on a besoin de dimensionner le bouzin.

      Pourquoi pas.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.