Martian : avis et comparatif

Pourquoi le routage LLM est nécessaire

Avant 2024, choisir un modèle IA était une décision ponctuelle : décider d’utiliser GPT-4 ou Claude, puis coder en dur ce choix dans votre base de code.

Le problème de cette approche : la complexité des requêtes varie énormément. « Traduis cette phrase en anglais » et « extrais tous les facteurs de risque de ces 50 pages de rapports financiers et analyse leurs corrélations » ont des exigences de capacité de modèle complètement différentes. Utiliser le même modèle pour les deux signifie soit gaspiller du coût sur la tâche simple, soit sous-performer sur la tâche complexe.

Le produit central de Martian résout exactement ce problème : transformer la sélection de modèle elle-même en une décision dynamique.

Comment fonctionne la logique de routage de Martian

Martian analyse les caractéristiques de chaque requête entrante — type de tâche, complexité, profondeur de raisonnement requise — puis sélectionne l’option optimale coût x qualité parmi le pool de modèles qu’il agrège.

Cela implique plusieurs décisions clés :

Évaluation de la complexité : Martian doit estimer la difficulté de la requête sans réellement faire tourner le modèle. C’est en soi un problème de prédiction, que Martian gère avec un classificateur dédié.

La frontière de Pareto coût x qualité : parmi tous les modèles disponibles, l’objectif de Martian est de trouver le choix Pareto-optimal pour la requête en cours — aucun autre modèle ne peut offrir une meilleure qualité au même coût, ou un coût plus bas à qualité égale.

Conscience de la disponibilité en temps réel : si un modèle donné a actuellement une latence anormalement élevée ou subit des pannes, Martian route automatiquement vers la meilleure option suivante.

Performance réelle en production

Martian cible principalement des clients d’entreprise. Un cas d’usage typique : une application IA traitant des centaines de milliers de requêtes par jour, avec un profil de requêtes mixte (classification d’intention simple aux côtés d’analyse de documents complexe), faisant auparavant tout transiter par un seul modèle phare coûteux.

Après l’adoption de Martian, les requêtes simples sont routées vers des modèles légers, et seules les requêtes ayant réellement besoin d’une capacité de niveau fleuron sont routées vers des modèles haut de gamme — le coût global baisse tandis que les requêtes sensibles à la qualité conservent la même performance.

Cas d’usage adaptés

Scénario	Adéquation
Produits IA avec des types de requêtes divers	Très bien adapté
Scénarios à forte concurrence recherchant le coût minimum	Bien adapté
Besoin de forcer une version de modèle spécifique	Pas bien adapté
Connexion directe depuis la Chine continentale (sans proxy)	Pas bien adapté
Équipes startup / projets personnels	Plutôt cher — une option plus simple peut valoir la peine d’être envisagée

Comparaison avec d’autres solutions de routage

Martian est le pionnier du routage LLM commercial, mais il existe désormais d’autres produits de couche de routage. La différence principale : la logique de décision de routage de Martian est sa barrière commerciale centrale — elle n’est pas open source, et les règles de routage ne sont pas rendues publiques. C’est une considération pour les entreprises qui doivent auditer la logique de routage.

Avis similaires

• Unity2.ai (en anglais) : plus de 3 milliards de tokens traités quotidiennement, un choix de premier plan pour un relais d’entreprise à forte concurrence
• SiliconFlow : service cloud domestique pour grands modèles open source, plus de 100 modèles dont DeepSeek/Qwen/GLM, moteur d’inférence propriétaire avec adaptation aux puces domestiques
• Jeniya API (en anglais) : comme son nom l’indique, centré sur la simplicité, couverture complète de modèles, faible barrière à l’entrée
• AI21 Labs API (en anglais) : architecture hybride Jamba, contexte long à bas coût, spécialité NLP d’entreprise