🤖 Jarvis — assistant vocal local

English version

Un assistant vocal en français qui tourne sur ta machine. Dis « Hey Jarvis », parle naturellement : il raisonne avec un LLM, utilise une boîte à outils extensible (domotique, PC, web, téléphone…) et te répond à voix haute. Trois modes distincts : hybride (IA cloud quotidienne + Hermes pour le fond), qualité (modèle cloud le plus puissant configuré) ou 100 % local hors ligne (Ollama + voix locale). Le LLM et la voix se choisissent séparément. OpenAI et Claude/Anthropic sont intégrés aujourd'hui ; d'autres fournisseurs, comme Gemini, peuvent être ajoutés par connecteur sans changer ces trois modes.

🧠 Jarvis + Hermes. Pour la réflexion de fond et la recherche, Jarvis délègue à Hermes, un agent délibératif qui tourne en local (conteneur Docker). La doctrine est nette : Hermes orchestre et pense ; Jarvis détient les clés et le corps — c'est toujours Jarvis qui exécute les actions, jamais Hermes, et aucun identifiant ne vit dans l'environnement d'Hermes (il lit le Vault et les outils sûrs, écrit seulement des brouillons).

📡 Jarvis dans chaque pièce. Ajoute un ou plusieurs satellites audio réseau pour déporter le micro et le haut-parleur dans la cuisine, le salon ou une autre pièce. Le PC reste le cerveau central ; aucun long câble ne le relie aux pièces. Le client disponible aujourd'hui cible Raspberry Pi/Linux, mais le protocole est prévu pour accueillir des solutions moins chères : ancien téléphone Android, ESP32 avec audio ou Pi Zero (options et fonctionnement · guide de choix et d'installation · installation Raspberry/Linux détaillée).

Projet perso partagé tel quel. Cible Windows 11, nécessite un micro et (en mode cloud) une clé API du fournisseur choisi. Les abonnements grand public et les API sont généralement séparés. La plupart des intégrations sont optionnelles et se désactivent proprement si non configurées.

✨ Fonctionnalités

• 🎙️ Tout à la voix — mot d'activation (openWakeWord), transcription locale (Whisper), réponses parlées
• 👁️ Vision de l'écran — « c'est quoi cette erreur ? », « lis ça », « traduis » (capture → LLM)
• 💡 Domotique — Philips Hue (allumer, luminosité, couleur), ambiances/scènes
• 🎬 Streaming — contrôle d'OBS (direct, enregistrement, scènes, replay)
• 🖥️ Contrôle PC — lancer des apps, média/volume, stats GPU/CPU/RAM en direct
• 📅 Agenda — Google Agenda sur tous tes agendas (y compris abonnés iCal), création/suppression avec confirmation
• 📧 Mail — résumés Gmail et rédaction
• 💬 Discord — mentions + récap des messages du jour
• 📸 Instagram — abonnés & vues des vidéos vs la veille (multi-comptes)
• 🍽️ Réservations web — réserve resto/rendez-vous via un vrai navigateur (Playwright)
• 🌐 Assistant navigateur — résume/traduit l'onglet actif, gère les onglets, agit sur les pages (ton vrai Chrome)
• 📞 Appels téléphoniques — Twilio : jouer un message, ou une vraie conversation temps réel
• 🧠 Mémoire long terme — retient tes préférences, tes proches, tes projets
• 📱 Pont iPhone — envoie idées/notes et commandes depuis l'app Raccourcis (Siri comme télécommande à distance)
• 🎭 Personnalités — majordome sarcastique, neutre, concis — changeable à la voix
• 🏠 Présence — ping ton téléphone, déclenche des scènes quand tu pars/reviens
• 🚀 Démarrage & scènes automatiques — lance Jarvis et sa chaîne locale à l'ouverture de session, joue un brief météo/agenda au premier démarrage de la journée et prépare une extinction propre
• 🌤️ Utilitaires — météo, minuteurs, heure/date
• 🔌 Serveur MCP — expose les outils domotique/PC à tout client MCP (Claude Desktop, Hermes…)
• 🎬 Hub de contenu — vault d'inspirations Insta/TikTok (télécharge, transcrit, indexe), idées & scripts générés, ingestion YouTube (docs/hub_contenu.md)
• 🗂️ Suivi de contenus — pipeline vidéo idée → script → tournage → montage → publié, croisé avec ton agenda ; « où j'en suis ? » (docs/suivi_contenu.md)
• 🤝 Délégation à Hermes — confie la réflexion / recherche de fond à un agent délibératif local (doctrine : Jarvis tient les clés & le corps, Hermes pense) (docs/hermes.md)
• 🧭 HUD & panneau web local (/panneau) — commandes rapides de modèle/voix, état de la chaîne, réglages et permissions — accessibles en local uniquement (docs/panneau.md)
• 🔐 Sécurité graduée — niveaux N1/N2/N3 par outil, « toujours autoriser » révocable, budget LLM par fournisseur
• 💸 Routage & budgets — 3 modes (local / hybride / qualité), fournisseur cloud et voix configurables séparément, suivi des coûts et bascule auto en local au plafond (docs/costs.md)
• 📊 Cockpit personnel local — abonnements, échéances, détection par reçus Gmail et import CSV de transactions ; les données financières restent gitignorées et ne sont jamais exposées à Hermes/MCP (docs/cockpit.md)
• ⏻ Extinction / réveil du PC — extinction propre à la voix (confirmation N3, délai annulable) ; méthodes génériques de réveil documentées selon le matériel (docs/wol.md)
• ✋ Contrôle optionnel par caméra et gestes — avec une webcam configurée, les modes Fenêtres (changer/défiler) et Audio (volume/pistes) complètent les actions lumière/média/OBS ; traitement 100 % local, aucune image ne sort (docs/gestes.md)
• 📡 Satellites multi-pièces — déporte micro et haut-parleur sur un client réseau ; Raspberry/Linux est disponible, le Pi Zero 2 W est expérimental, et Android/ESP32 audio restent des cibles à développer. Wake word local, LAN authentifié, contexte de la pièce et confirmations vocales sensibles (installation et choix du matériel · protocole)
• 🎵 Reconnaissance musicale — « c'est quoi cette musique ? » (micro de la pièce ou son d'une vidéo/reel via loopback), à la demande uniquement (docs/musique.md)
• 🪟 Overlay de réponses — mini-fenêtre flottante qui affiche à l'écrit ce que Jarvis dit, sans jamais voler le focus (topmost, clic-transparent, invisible en stream), 2e écran configurable + mode silencieux visuel (docs/overlay.md)
• 🏠 Google Home / Nest — (⚠️ expérimental) liste des appareils Nest + état (docs/google_home.md)
• 🔵 Alexa / Echo — (via API non officielle) annonces/TTS, média, et contrôle d'appareils via Routines (« allume la clim », « éteins la télé ») (docs/alexa.md)

🎬 Démo

📺 Vidéo / GIF de démo à venir — placeholder.

🏗️ Architecture

flowchart LR
    Mic([🎙️ Micro]) --> WW[openWakeWord<br/>« Hey Jarvis »]
    WW --> STT[faster-whisper<br/>STT — local]
    STT --> LLM{{LLM<br/>Cloud configurable ☁️<br/>OU Ollama 🏠}}
    LLM <-->|appels d'outils| TOOLS[🧰 Outils]
    LLM --> TTS{{Voix configurable<br/>ElevenLabs · Piper · Kokoro · Windows}}
    TTS --> SPK([🔊 Haut-parleurs])

    SAT([📡 Satellite audio réseau<br/>Android · ESP32 · Linux]) -->|audio LAN authentifié| STT
    TTS -->|audio LAN| SAT
    CAM([📷 Webcam optionnelle]) --> GEST[✋ Gestes locaux]
    GEST --> TOOLS

    TOOLS -.-> HOME[💡 Hue / 🎬 OBS / 🖥️ PC]
    TOOLS -.-> NET[📅 Agenda / 📧 Mail / 💬 Discord / 📸 Instagram]
    TOOLS -.-> CDP[🌐 Chrome via CDP]
    TOOLS -.-> TW[📞 Appels Twilio]
    TOOLS -.->|délègue la réflexion| HERMES[🧠 Hermes<br/>agent délibératif local]
    TOOLS -.-> MCP[[🔌 Serveur MCP]]
    HERMES -.->|lit les outils sûrs| MCP
    MCP -.-> EXT[Claude Desktop / autres clients]
    PANEL[🧭 Panneau web local<br/>modèles · état · permissions] -.-> TOOLS

Jarvis tient les clés & le corps (il exécute) ; Hermes pense (réflexion, recherche, analyse du Vault). Hermes ne voit que les outils sûrs exposés par le serveur MCP de Jarvis.

🎚️ Les trois modes

La transcription faster-whisper reste locale dans les trois modes.

Petit budget cloud ? Le mode local est disponible aujourd'hui sans coût d'API. Des connecteurs optionnels Gemini (niveau gratuit) et DeepSeek (paiement à l'usage économique) sont proposés dans la roadmap, mais ne sont pas encore intégrés. Le projet, les limites et les précautions de confidentialité sont détaillés dans le guide des coûts.

Bascule en une ligne : mode: local, hybride (défaut) ou qualite — ou à la voix « passe en local ». Voir docs/local.md et docs/costs.md pour le bilan honnête de fiabilité (un modèle 7B gère bien les outils domotique/PC ; les features à vision comme le navigateur & les réservations restent cloud recommandé).

Matériel local (honnête) : Whisper medium ≈ 2–3 Go VRAM, qwen3.5:4b (Q4) ≈ 3 Go — une carte 6 Go (RTX 2060/3060) fait tourner les deux confortablement. Le qwen3.5:9b (~6 Go) demande plus de marge. Piper est temps réel