Apertus : forces et limites du premier grand modèle d’intelligence artificielle suisse

Contexte et objectifs du projet Apertus

Après plusieurs semaines d’attente, l’Ecole polytechnique fédérale de Zurich et l’EPFL ont dévoilé Apertus, un grand modèle de langage conçu pour être adaptable à diverses applications. Swissinfo a évalué le système en s’appuyant sur l’analyse d’experts afin de mettre en lumière ses points forts et ses limites.

Caractéristiques et comparaison avec les grands LLM

Usage prévu et nature du modèle

Apertus n’est pas destiné à un usage personnel comparable à ChatGPT. Il s’agit d’un socle d’IA polyvalent, conçu pour être intégré dans des services et applications, notamment dans l’économie et la recherche. Selon Imanol Schlag, le grand public n’est pas le public cible principal.

Puissance et capacité face aux LLM commerciaux

À ce jour, Apertus est présenté comme l’un des LLM open source les plus performants. Cependant, il ne peut pas être mis sur le même pied que les modèles brevetés tels que GPT-4, Gemini ou Claude, qui reposent sur des jeux de données beaucoup plus vastes et une puissance de calcul conséquente. El Mahdi El Mhamdi rappelle que comparer Apertus aux IA des grandes entreprises revient à confronter des univers très différents.

Cependant, des modèles plus modestes peuvent offrir une productivité adaptée et être plus accessibles aux PME tout en étant moins énergivores. Mete Ismayilzada souligne que la qualité des données peut avoir une importance plus grande que leur quantité.

Éthique et transparence

Apertus est présenté comme le premier grand modèle de langage conçu pour répondre aux critères clés de l’European AI Act, entré en vigueur en 2024. Cela inclut la transparence, la traçabilité des données et le respect de la propriété intellectuelle et de la vie privée. Les données d’entraînement proviennent de sources publiques et légales et n’incluent pas de contenus protégés ou issus de sites ayant choisi d’être exclus.

À titre de comparaison, certains géants de la tech exploitent des données de milliards d’utilisateurs sans consentement. Cette différence rend Apertus attrayant pour les entreprises, les instituts de recherche et les organismes publics souhaitant développer des applications IA éthiques et conformes. Selon Schlag, il est possible d’entraîner une IA de manière responsable sans s’approprier des contenus protégés.

Multilinguisme et défis linguistiques

Les développeurs indiquent qu’Apertus a été entraîné sur plus de 1800 langues, y compris des langues minoritaires et des dialectes rarement couverts par les grands modèles, comme le romanche et le suisse allemand. Toutefois, maîtriser une langue ne garantit pas une parole fluide ou des traductions impeccables; des erreurs peuvent survenir, notamment en italien ou dans certaines expressions en romanche. Schlag reconnaît ces limites et précise que les capacités conversationnelles doivent être encore renforcées, même si des tâches comme la traduction de l’allemand vers le romanche montrent des performances supérieures à celles de certains autres systèmes.

Portée internationale et identité suisse

Malgré son élaboration en Suisse, Apertus ne se limite pas au territoire helvète. La majorité des données d’entraînement provient de sources internationales, avec des exceptions pour le romanche et le suisse allemand, et une charte de valeurs suisses guide le comportement du système, notamment en matière de neutralité et de diversité linguistique. Schlag précise que, mis à part ces éléments, le modèle n’est pas intrinsèquement suisse.

Les porteurs du projet espèrent que d’autres pays s’intéresseront à Apertus et contribueront à son développement via des infrastructures, des talents et des ressources. L’objectif est d’en faire évoluer Apertus à l’échelle européenne, voire mondiale.

Actualisation et financement

Contrairement à certaines idées reçues, aucun grand modèle n’est capable de se mettre à jour en temps réel par simple connexion Internet. Une fois entraîné, le système demeure statique et les mises à jour nécessitent généralement un nouveau cycle d’entraînement, coûteux et accessible surtout aux organisations disposant de ressources importantes. Cette contrainte est considérée comme l’un des principaux défis de la technologie.

Pour l’étape suivante, Apertus bénéficiera d’un financement fédéral de 20 millions de francs et du supercalculateur Swiss Alps, alimenté uniquement par l’énergie hydraulique afin de limiter l’empreinte environnementale. À plus long terme, les responsables appellent à davantage d’investissements et de ressources pour soutenir le développement et la souveraineté numérique.