• # langue

    Posté par  (site web personnel, Mastodon) . Évalué à 2 (+1/-0).

    Bien sûr j'ai oublié de préciser que la page est en anglais.

    Un gentil du net

  • # pas encore disponible en gguf

    Posté par  (site web personnel) . Évalué à 4 (+3/-1).

    Apertus n'est pas encore disponible en gguf (un format pour stocker les poids d'un modèle) et n'est donc pas quantifiable sur 4 bits, car llama.cpp ne connaît pas encore son architecture interne.

    On utilise donc vllm pour le faire tourner, mais il nécessite un GPU récent et puissant ainsi qu'une quantité appropriée de RAM.
    Mes deux NVIDIA Quadro P5000 (chacune avec 16 Go de RAM) ne sont pas compatibles malgré leur puissance.

    En attendant, je travaille avec Apertus en utilisant l'API fournie sous https://platform.publicai.co/docs .

    Cette API me permet d'utiliser les modèles 8b et 70b.

    Cela fonctionne dans une certaine mesure ; c'est un bon début et vraiment open-source : les datasets d'entraînement sont inclus.
    Cependant, en termes de performance, cela se rapproche de LLaMA 3.3 70b .
    Par rapport à d'autres modèles, Mistral Small 3.2 et gpt-oss 20b semblent offrir des résultats nettement supérieurs.

    P.S c'est Apertus 70b qui a corrigé mon commentaire

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.