Tibério Konate Portfolio technique
← Tous les projets

Outil · Benchmark · 2026

ollama-inference-benchmarks

Un banc de mesure reproductible pour choisir un modèle local sur des critères chiffrés, pas au ressenti.

Voir le dépôt ↗

Le problème

On lit partout qu'un modèle est « rapide ». Sur un VPS sans GPU, la latence dépend du modèle, de la quantification et de la longueur de sortie. Sans protocole reproduisible, le choix se fait sur une impression — et le premier run est toujours trompeur, parce que le modèle n'est pas encore chargé.

Ce que j’ai construit

Une CLI Typer avec modèles Pydantic, une suite de neuf prompts en trois catégories (raisonnement court, extraction structurée, texte long), la mesure de latence cold et warm via `--runs`, deux backends interchangeables (llama.cpp et vLLM via une interface compatible OpenAI) et un export CSV. Livré avec image Docker, CI GitHub Actions, 43 tests, mypy strict et ruff propre.

Points techniques

  • Les backends sont interchangeables derrière une interface unique : changer de moteur coûte une sous-classe.
  • La distinction cold/warm est mesurée, pas supposée — c’est elle qui invalide la plupart des benchmarks publiés.
  • Résultat concret : Qwen3 1.7B offre le meilleur compromis qualité/latence sur ce matériel.