Contrôle du navigateur
MBAgent se connecte et contrôle le navigateur Houniao via CDP (Chrome DevTools Protocol), c'est la capacité principale de MBAgent pour interagir avec le navigateur local.
NOTE
À propos des captures d'écran : Cette page contient des captures d'écran pour la sélection du navigateur, la configuration des autorisations, les opérations réelles, etc.
I. Qu'est-ce que le contrôle du navigateur ?
Le contrôle du navigateur signifie que MBAgent peut, via le protocole CDP, opérer les instances du navigateur Houniao, complétant à votre place la navigation web, le remplissage de formulaires, l'extraction de données, la connexion aux comptes, etc.
Capacités principales
- 🚀 Ouvrir n'importe quelle URL : naviguer vers une page spécifiée
- 📝 Remplir des formulaires : remplir automatiquement les champs, listes déroulantes
- 🖱️ Cliquer : cliquer sur les boutons, liens, cases à cocher
- 📸 Capture d'écran : capturer une capture de page pour analyse IA
- 📋 Lire le contenu : obtenir le texte de la page, la structure HTML
- 🔍 Exécuter JavaScript : exécuter du JS dans le contexte de la page
- 🍪 Gérer les cookies : lire, modifier, supprimer les cookies
- 📦 Télécharger des fichiers : déclencher le téléchargement
- 🔐 Connexion au compte : se connecter automatiquement aux sites
- 🛡️ Contourner les CAPTCHA : gérer les CAPTCHA simples sous autorisation
II. Préparation : connexion au client Houniao
Démarrer le navigateur Houniao
- Assurez-vous que le navigateur Houniao (mbbrowser.exe) est démarré
- Dans le client Houniao, créez ou ouvrez un environnement (un environnement est une instance de navigateur indépendante)
- Ne fermez pas cet environnement, MBAgent se connectera via CDP
Configuration dans MBAgent
Dans les paramètres MBAgent, sélectionnez le client Houniao à contrôler :
Étapes
- Allez dans "Paramètres" → onglet "Navigateur"
- Sélectionnez le client Houniao dans la liste déroulante (affiche toutes les instances de client Houniao en cours d'exécution sur la machine)
- Cliquez sur "Vérifier la connexion"
- ✅ coche verte signifie connexion réussie
Statut du client
| Statut | Signification | Solution |
|---|---|---|
| ✅ Connecté | MBAgent utilisable normalement | - |
| ⚠️ Non connecté | MBAgent n'a pas sélectionné de client | Sélectionnez dans la liste déroulante |
| ❌ Échec de connexion | Client fermé ou port occupé | Redémarrez le navigateur Houniao |
| 🚫 Aucun client | Aucun navigateur Houniao en cours | Démarrez le navigateur Houniao |
III. Principe de la connexion CDP (brève description)
Architecture
┌────────────┐ CDP/WebSocket ┌──────────────┐
│ MBAgent │ ◄──────────────────► │ Houniao │
│ (Rust) │ 127.0.0.1:xxxxx │ Browser │
└────────────┘ └──────────────┘Attribution des ports
- Le navigateur Houniao attribue un port CDP indépendant à chaque environnement
- MBAgent communique avec ce port via WebSocket
- Un MBAgent ne peut contrôler qu'un seul environnement à la fois (une connexion CDP)
Mécanisme de sécurité
- N'écoute que 127.0.0.1 (loopback local)
- Pas ouvert au réseau externe
- Chaque connexion a un ID de session indépendant
IV. Portée des opérations exécutables
Liste des opérations contrôlées
| Catégorie | Opération | Nécessite confirmation |
|---|---|---|
| Navigation | Ouvrir URL, avancer, reculer, rafraîchir | Non |
| Lecture | Lire texte de page, HTML, capture | Non |
| Saisie | Remplir champs, zones de texte | Oui (opération à haut risque) |
| Clic | Cliquer boutons, liens | Oui |
| Soumission | Soumettre formulaires | Oui |
| Connexion | Connexion au compte | Oui |
| Paiement | Opérations de paiement | Oui + double confirmation |
| Suppression | Supprimer compte, supprimer données | Oui + double confirmation |
| Téléchargement | Télécharger fichier | Oui |
| Exécution JS | Exécuter JS arbitraire | Oui |
| Opérations Cookie | Modifier Cookie | Oui |
Opérations à haut risque
Les opérations suivantes nécessitent toujours une confirmation de l'utilisateur :
- 💰 Toute opération impliquant de l'argent (paiement, virement)
- 🔐 Saisie de mot de passe de compte
- 🗑️ Opérations de suppression
- ⚙️ Modification des paramètres du compte
- 📤 Opérations de publication publique (poster, envoyer e-mail)
- 🚨 Opérations liées à la sécurité (modifier mot de passe, lier téléphone)
Journal des opérations
Toutes les opérations sont enregistrées :
- Heure de l'opération
- Type d'opération
- URL cible
- Résultat de l'exécution
- Capture d'écran (optionnel)
Consultable dans "Historique" → "Journal des opérations".
V. Connexion au compte
Processus de connexion automatique
MBAgent peut se connecter à des sites de plusieurs manières :
Méthode 1 : Connexion par identifiant / mot de passe (nécessite confirmation)
- L'IA identifie la page de connexion
- Vous demande si vous fournissez l'identifiant / mot de passe
- Après confirmation, l'IA remplit et soumet automatiquement
- L'IA ne se souviendra pas du mot de passe (pour des raisons de sécurité)
Méthode 2 : Injection de cookie (recommandée)
- Vous vous connectez d'abord manuellement dans le navigateur Houniao
- Fermez le navigateur
- MBAgent héritera automatiquement des cookies au prochain démarrage
- Pas besoin de se reconnecter
Méthode 3 : Connexion tierce (OAuth)
- Connexion Google / GitHub / WeChat, etc.
- La connexion automatique n'est pas prise en charge (nécessite une opération manuelle)
- L'IA vous invitera à effectuer l'opération manuellement
VI. Gestion des CAPTCHA
CAPTCHA simples
| Type | Méthode de traitement |
|---|---|
| CAPTCHA graphique (4-6 caractères) | L'IA identifie et remplit automatiquement |
| CAPTCHA glissant | L'IA contrôle le curseur |
| CAPTCHA mathématique (ex. 3+5=?) | L'IA calcule et remplit automatiquement |
| Clic sur texte (cliquer les caractères dans l'ordre) | L'IA identifie et clique |
CAPTCHA complexes
| Type | Méthode de traitement |
|---|---|
| reCAPTCHA v2 | Nécessite une opération manuelle |
| hCaptcha | Nécessite une opération manuelle |
| FunCaptcha | Nécessite une opération manuelle |
| CAPTCHA SMS | Attendre que vous receviez et saisissiez |
| CAPTCHA e-mail | Attendre que vous receviez et saisissiez |
Principes de traitement des CAPTCHA
IMPORTANT
Principes de traitement des CAPTCHA :
- CAPTCHA simples : MBAgent traite automatiquement
- CAPTCHA complexes : une fenêtre contextuelle vous invite à effectuer manuellement
- Échecs multiples : pause automatique pour éviter de déclencher le contrôle des risques
VII. Capture d'écran et analyse de page
Modes de capture
MBAgent propose 3 modes de capture :
1. Capture pleine page
Capture toute la page (y compris les zones de défilement).
2. Capture de la zone visible
Ne capture que la zone visible actuelle.
3. Capture d'élément
Ne capture que l'élément spécifié.
Utilisations des captures
- 📊 Extraction de données : analyse visuelle des tableaux et listes
- 🔍 Dépannage : retour d'écran d'anomalie UI
- 📋 Confirmation du contenu : confirmation de l'état de la page avant opération
- 🧾 Preuve d'opération : conservation après opération
Emplacement de sauvegarde des captures
%LOCALAPPDATA%\mbagent\screenshots\VIII. Limites et précautions
Limites du navigateur
WARNING
Ce qui ne peut pas être fait :
- ❌ Contrôler d'autres applications locales (VSCode, Photoshop, etc.)
- ❌ Contrôler des applications mobiles
- ❌ Contourner l'état de connexion pour accéder
- ❌ Contourner les mécanismes anti-scraping des sites
- ❌ Opérations nécessitant une vérification SMS
- ❌ CAPTCHA haute intensité (reCAPTCHA v3, etc.)
Restrictions de sécurité
IMPORTANT
MBAgent ne fera pas ce qui suit :
- ❌ Soumettre des formulaires sans le consentement de l'utilisateur
- ❌ Saisir automatiquement des mots de passe non fournis
- ❌ Modifier les paramètres de sécurité du compte
- ❌ Publier du contenu non vérifié publiquement
- ❌ Effectuer tout transfert d'argent
Limites de performance
- Un MBAgent ne peut contrôler qu'un seul environnement à la fois
- Pas de prise en charge multi-environnements concurrents
- Délai d'expiration de 30 secondes pour les opérations sur une seule page
- Pause automatique après 5 échecs consécutifs
IX. Dépannage
Problème 1 : Échec de la connexion
Symptôme : MBAgent affiche "Impossible de se connecter au navigateur Houniao"
Dépannage :
- Vérifiez que le navigateur Houniao est démarré
- Vérifiez qu'il y a au moins un environnement dans le navigateur Houniao
- Vérifiez que l'environnement n'est pas fermé
- Vérifiez que le pare-feu ne bloque pas 127.0.0.1
- Redémarrez le navigateur Houniao et MBAgent
Problème 2 : Échec de l'opération sans changement de page
Symptôme : L'IA rapporte "cliqué", mais la page ne réagit pas
Dépannage :
- Demandez à l'IA de fournir une capture d'écran
- Vérifiez si la page nécessite un défilement pour voir le bouton
- Vérifiez s'il y a une couche de masque
- Essayez de rafraîchir et réessayer
Problème 3 : Compte sous contrôle des risques
Symptôme : Déconnecté immédiatement après la connexion, vérification nécessaire
Dépannage :
- Suspendez les opérations IA
- Connectez-vous manuellement et passez la vérification
- Activez la protection d'empreinte du navigateur Houniao
- Changez d'IP et réessayez
Problème 4 : Chargement de page lent
Symptôme : L'IA rapporte "page en chargement continu"
Dépannage :
- Vérifiez le réseau
- Augmentez le délai d'attente
- Essayez un rafraîchissement forcé (Ctrl+F5)
X. Bonnes pratiques
Pratiques recommandées
- ✅ Avant les opérations importantes, laissez l'IA prendre une capture pour confirmer l'état de la page
- ✅ Ne laissez pas l'IA mémoriser les mots de passe de compte (utilisez l'injection de cookies)
- ✅ Les opérations impliquant de l'argent doivent être confirmées manuellement
- ✅ Consultez régulièrement le journal des opérations
- ✅ Suspendez immédiatement en cas d'anomalie
Pratiques non recommandées
- ❌ Laisser l'IA fonctionner longtemps sans surveillance
- ❌ Donner directement les mots de passe de compte à l'IA
- ❌ Laisser l'IA opérer plusieurs comptes (risque de contrôle des risques)
- ❌ Opérer sans surveillance en état connecté
Étape suivante : Gestion des autorisations et sécurité → Comprendre les limites d'autorisation de MBAgent.