Apertus n'est pas encore disponible en gguf (un format pour stocker les poids d'un modèle) et n'est donc pas quantifiable sur 4 bits, car llama.cpp ne connaît pas encore son architecture interne.
On utilise donc vllm pour le faire tourner, mais il nécessite un GPU récent et puissant ainsi qu'une quantité appropriée de RAM.
Mes deux NVIDIA Quadro P5000 (chacune avec 16 Go de RAM) ne sont pas compatibles malgré leur puissance.
Cette API me permet d'utiliser les modèles 8b et 70b.
Cela fonctionne dans une certaine mesure ; c'est un bon début et vraiment open-source : les datasets d'entraînement sont inclus.
Cependant, en termes de performance, cela se rapproche de LLaMA 3.3 70b .
Par rapport à d'autres modèles, Mistral Small 3.2 et gpt-oss 20b semblent offrir des résultats nettement supérieurs.
P.S c'est Apertus 70b qui a corrigé mon commentaire
# langue
Posté par raspbeguy (site web personnel, Mastodon) . Évalué à 2 (+1/-0).
Bien sûr j'ai oublié de préciser que la page est en anglais.
Un gentil du net
[^] # Re: langue
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . Évalué à 4 (+1/-0).
Corrigé.
Je n’ai aucun avis sur systemd
# pas encore disponible en gguf
Posté par Ecran Plat (site web personnel) . Évalué à 4 (+3/-1).
Apertus n'est pas encore disponible en gguf (un format pour stocker les poids d'un modèle) et n'est donc pas quantifiable sur 4 bits, car llama.cpp ne connaît pas encore son architecture interne.
On utilise donc vllm pour le faire tourner, mais il nécessite un GPU récent et puissant ainsi qu'une quantité appropriée de RAM.
Mes deux NVIDIA Quadro P5000 (chacune avec 16 Go de RAM) ne sont pas compatibles malgré leur puissance.
En attendant, je travaille avec Apertus en utilisant l'API fournie sous https://platform.publicai.co/docs .
Cette API me permet d'utiliser les modèles 8b et 70b.
Cela fonctionne dans une certaine mesure ; c'est un bon début et vraiment open-source : les datasets d'entraînement sont inclus.
Cependant, en termes de performance, cela se rapproche de LLaMA 3.3 70b .
Par rapport à d'autres modèles, Mistral Small 3.2 et gpt-oss 20b semblent offrir des résultats nettement supérieurs.
P.S c'est Apertus 70b qui a corrigé mon commentaire
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.