Des chercheurs de l’Université de Stanford et de l’Université de Washington ont réussi à former un modèle d’intelligence artificielle rivale pour Openai, les modèles avancés d’Openai à seulement 26 minutes et moins de 50 $. Ce modèle, appelé S1, a été formé avec un petit ensemble de données composé de 1 000 questions et a été développé par méthode de distillation qui transfère les informations des grands modèles d’intelligence artificielle à de petits modèles.

50 $ Intelligence artificielle rivale de 50 $: S1

Les chercheurs ont profité du modèle expérimental de la pensée flash Gemini 2.0 de Google pour améliorer les capacités logiques de S1. Cependant, les conditions de service de Google interdisent l’utilisation de l’API Gemini pour le développement de modèles d’intelligence artificielle rivaux, ce qui soulève des problèmes juridiques possibles.

Le modèle S1 a été construit sur le QWEN2.5 open source d’Alibaba Cloud. Initialement, la formation a commencé à utiliser un grand ensemble de données de 59 000 questions, mais les tests ont montré qu’un ensemble de données plus petit offre des taux de précision similaires et donc la durée de la formation et du coût était considérablement réduite.

Le processus de formation a été achevé à l’aide de 16 GPU NVIDIA H100. Le modèle utilise une technique avancée appelée mise à l’échelle du temps de test pour augmenter sa précision. Les chercheurs ont prolongé le temps de réponse en ajoutant la commande «d’attente» au modèle et permet ainsi au modèle d’examiner les réponses du modèle et de leur permettre de corriger leurs erreurs. Cette méthode a permis à l’intelligence artificielle de faire fonctionner plus précisément les processus logiques complexes.

Cette évolution prouve que les modèles d’intelligence artificielle haute performance n’ont pas nécessairement besoin d’être formés avec des milliards de dollars d’investissements et d’énormes centres de données. Le modèle O1 d’OpenAI utilise également une technique logique similaire, et le modèle R1 de Deepseek basé en Chine affirme qu’il est développé à un coût beaucoup plus bas avec une méthode similaire.

Cependant, OpenAI a accusé Deepseek d’informations pénibles de ses modèles et a accusé d’avoir développé une intelligence artificielle de l’adversaire, ce qui peut amener les grandes entreprises technologiques à reconsidérer leurs positions contre les modèles d’intelligence open source.