Contrôles du vol en direct Copilot
Copilot est un assistant IA intégré à la plateforme FlightHub 2. Les utilisateurs peuvent donner des commandes à Copilot en langage naturel (texte ou voix). L’IA interprète ensuite la requête et contrôle le drone en temps réel pour effectuer des tâches opérationnelles complexes telles que le vol, la prise de vue et la recherche, sans nécessiter de compétences professionnelles en pilotage.【Appareils actuellement pris en charge : DJI Dock 3 et DJI Dock 2】
Comment y accéder
Copilot propose deux points d’entrée :
- Entrée via le cockpit virtuel : Dans l’interface du cockpit virtuel, cliquez sur le bouton Copilot pour ouvrir la fenêtre de discussion à droite. Le système associera automatiquement Copilot à l’appareil actuellement contrôlé.
- Entrée via la page équipe : Cliquez sur le bouton Copilot sur la page Équipe pour ouvrir la fenêtre de discussion. Si un appareil est déjà sélectionné, il sera automatiquement associé à la session. Si aucun appareil n’est sélectionné, l’utilisateur doit sélectionner manuellement un appareil dans la fenêtre de discussion.
La capture d’écran montre l’emplacement du bouton Copilot dans l’interface du cockpit virtuel et met en évidence la fenêtre de conversation qui apparaît après avoir cliqué dessus.
Concepts de base
- Conversation : Chaque interaction avec Copilot est appelée une session. Une session est strictement liée à un drone : (1 utilisateur : 1 Copilot : 1 drone). Pour contrôler un autre appareil, commencez une nouvelle conversation.
- Instruction : Une instruction est la saisie en langage naturel effectuée par l’utilisateur dans la boîte de dialogue, par exemple : « Vole jusqu’à l’entrée du parc et cherche une personne habillée en rouge ». Copilot analyse automatiquement l’instruction pour identifier les emplacements, les actions et les cibles.
- Confirmation de planification : Lorsqu’une commande implique des opérations à haut risque telles que le décollage ou le vol, Copilot génère un plan de mission et demande la confirmation de l’utilisateur avant de l’exécuter afin de garantir la sécurité et le contrôle.
- Arrêt d’urgence : Un bouton rouge d’arrêt d’urgence est toujours visible dans la fenêtre de discussion. Appuyer mettre immédiatement le drone en vol stationnaire. Cette commande contourne le traitement par l’IA et est envoyée directement au drone.
Aperçu des capacités de Copilot
Les tableaux suivants décrivent toutes les fonctionnalités actuellement prises en charge par Copilot, les opérations non prises en charge et les considérations d’utilisation de Copilot.
Contrôle du vol
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Voler intelligemment jusqu’au point de destination | Pris en charge | Copilot gère automatiquement le statut décollage/en vol, le calcul de l’élévation du sol et la récupération des paramètres de vol. L’altitude peut être spécifiée. Il est recommandé d’activer la planification intelligente d’itinéraire de vol optimal dans le cockpit virtuel. | « Vole jusqu’à l’entrée du parc », « Vole jusqu’au marqueur B à une altitude de 100 mètres » |
| Décoller/voler à une altitude spécifiée | Pris en charge | L’altitude est mesurée comme l’altitude au-dessus du sol (AGL). Le système calcule automatiquement l’altitude absolue. En raison de possibles imprécisions dans les données d’altitude globales de FlightHub, nous recommandons de conserver une marge de sécurité suffisante. | « Décoller », « Décoller jusqu’à 100 mètres », « Voler à une altitude de 80 mètres » |
| Vol en direction relative | Pris en charge | En fonction de la position actuelle du drone, prend en charge un déplacement relatif dans 10 directions : avant, arrière, gauche, droite, avant-gauche, avant-droite, arrière-gauche, arrière-droite, haut et bas. | « Voler vers l’avant de 100 mètres », « Voler à gauche de 50 mètres », « Monter de 30 mètres » |
| Retour au point de départ et atterrissage | Pris en charge | Le drone retourne automatiquement au point de décollage et atterrit. | « Retour au point de départ » |
| Arrêt d’urgence | Pris en charge | Le drone se met immédiatement en vol stationnaire. À utiliser uniquement en cas d’urgence. Après l’activation, une nouvelle commande doit être émise manuellement pour reprendre les opérations. | « Arrêt d’urgence » ou appuyer sur le bouton d’arrêt d’urgence |
| Vols continus entre plusieurs PinPoints | Non pris en charge | Une seule commande prend en charge un seul PinPoint absolu. Pour voler vers plusieurs emplacements, envoyer les commandes de manière séquentielle. | — |
| Exécution de tâche de vol | Non pris en charge | Les fichiers de tâche de vol existants ne peuvent pas être exécutés directement. Seul le FlyTo en temps réel est pris en charge. | — |
Caméra et imagerie
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Prise de photo | Pris en charge | Prend en charge une ou plusieurs photos. Les utilisateurs peuvent définir le nombre de photos et l’intervalle de prise de vue. | « Prendre une photo », « Prendre 3 photos », « Prendre une photo toutes les 2 secondes, 5 fois », « Zoomer à 7x et prendre une photo » |
| Enregistrement vidéo | Pris en charge | Prend en charge l’enregistrement minuté et l’enregistrement continu (Arrêter manuel). Le mode caméra bascule automatiquement. | « Enregistrer pendant 30 secondes », « Commencer l’enregistrement » |
| Arrêter l’enregistrement | Pris en charge | Interrompt à tout moment une session d’enregistrement active. | « Arrêter l’enregistrement » |
| Panorama | Pris en charge | Bascule automatiquement en mode pano. Le drone doit maintenir un vol stationnaire stable pendant la capture (env. 100 secondes). | « Prendre une photo pano » |
| Changement d’objectif | Pris en charge | Permet de changer entre les objectifs infrarouge, grand-angle et zoom. | « Passer à la caméra infrarouge », « Passer au grand-angle », « Passer à l’objectif zoom » |
| Orienter la caméra vers une coordonnée | Pris en charge | Oriente la caméra vers un emplacement géographique spécifié. | « Orienter la caméra vers l’entrée du parc » |
| Mise au point manuelle/ajustement de l’exposition | Non pris en charge | La mise au point manuelle (MF/AF), la correction de l’exposition, le mode nuit et des réglages similaires ne sont pas contrôlables. | — |
Contrôle de la nacelle
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Recentrage de la nacelle (horizontal) | Pris en charge | La nacelle revient en position horizontale. | « Recentrer la nacelle » |
| Incliner la nacelle vers le bas | Pris en charge | Ajuste la nacelle à 90° vers le bas, adaptée aux prises de vue orthographiques et aux tâches de cartographie. | « Orienter la nacelle vers le bas » |
| Contrôle précis de l’angle d’inclinaison/lacet | Non pris en charge | Deux positions prédéfinies seulement sont disponibles : centre et verticale vers le bas. Le réglage précis de l’angle n’est pas pris en charge. | — |
Tourner autour d’un point d’intérêt (POI)
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Tourner autour d’un POI | Pris en charge | Effectuer un cercle autour d’un POI spécifié. Le système calcule automatiquement le rayon et la durée. La vitesse du cercle peut être définie. | « Tourner autour de la tour de signal », « Tourner autour de ce bâtiment une fois » |
| Quitter le POI | Pris en charge | Arrête le vol POI en cours à tout moment. | « Arrêter de tourner » |
| Nombre de cercles personnalisé | Pris en charge | Permet de définir plusieurs cercles. | « Tourner autour de la tour de signal 3 fois » |
| Rayon de cercle personnalisé | Non pris en charge | Le rayon du cercle est automatiquement déterminé par la distance actuelle entre le drone et le PinPoint. Si la distance est inférieure à 100 m, le rayon est automatiquement réglé sur 40 m ; si la distance est supérieure à 100 m, le rayon est automatiquement réglé sur 100 m. | — |
Recherche intelligente VLM
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Activer la détection d’objets | Pris en charge | Effectue une détection d’objets en temps réel à l’aide d’un modèle vision–langage (VLM). Les étiquettes de détection personnalisées sont prises en charge. | « Rechercher une personne portant du rouge », « Détecter le feu et la fumée » |
| Désactiver la détection d’objets | Pris en charge | Arrête une tâche de détection en cours à tout moment. | « Arrêter la détection » |
| Balayage de recherche | Pris en charge | Exécute un schéma de balayage circulaire à trois couches (de près à loin). Le système bascule automatiquement sur la caméra grand-angle et effectue des balayages rotatifs à 360° pour chaque couche. Ce processus est automatiquement déclenché après l’émission d’une commande de recherche. | « Rechercher des véhicules à proximité » (Copilot orchestre automatiquement la séquence de balayage) |
| Attendre les résultats de détection | Pris en charge | Bloque et attend que le VLM renvoie les résultats de détection. Une valeur de délai d’expiration peut être configurée. | Appelé automatiquement par Copilot, aucune commande manuelle n’est requise. |
| Détection de petits objets | Non pris en charge | Les cibles dont l’échelle est trop petite ne sont pas prises en charge (par exemple « fissures de chaussée de plus de 2 cm »). | — |
| Sujets hautement spécialisés | Non pris en charge | Les cibles extrêmement spécialisées ne sont pas prises en charge (par exemple « chaînes d’isolateurs à double tension » ou d’autres composants industriels de niche). | — |
Recherche de localisation
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Recherche par nom de lieu | Pris en charge | Saisir un mot-clé de localisation. Le système effectue d’abord une recherche de PinPoints dans le projet. Si aucune correspondance n’est trouvée, des localisations externes sont recherchées automatiquement. Jusqu’à cinq localisations candidates sont renvoyées. | « Voler jusqu’au mont Jiangang », « Voler jusqu’au tapis d’atterrissage » |
| Confirmation de localisation | Pris en charge | Après la recherche des coordonnées, une carte de confirmation avec un aperçu de la carte s’affiche. Les utilisateurs peuvent consulter et modifier la localisation avant de confirmer afin d’éviter une navigation incorrecte. | Déclenché automatiquement par Copilot ; l’utilisateur confirme ou modifie sur la carte. |
| Référence historique floue | Non pris en charge | Les références ambiguës aux localisations précédemment visitées ne sont pas prises en charge. | — |
| Directions relatives pures | Non pris en charge | Les descriptions relatives sans point d’ancrage géographique ne sont pas prises en charge. | — |
| Description de plage de zone | Non pris en charge | La destination doit être un point précis. Les descriptions de type zone ou couloir ne sont pas prises en charge. | — |
Haut-parleur
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Diffusion vocale TTS | Pris en charge | Convertit le texte en parole et le diffuse via le haut-parleur du drone. Prend en charge la lecture unique ou en boucle, avec un volume réglable (0–100). Le texte ne doit pas dépasser 200 caractères. | « Diffuser : Veuillez vous écarter. Zone de travaux devant. » / « Lecture en boucle : Veuillez vous arrêter pour inspection. » |
| Arrêter la diffusion | Pris en charge | Arrête à tout moment une diffusion vocale en cours. | « Arrêter la diffusion » |
Confirmation d’interaction
| Capacité | Statut de prise en charge | Description | Exemple |
|---|---|---|---|
| Confirmation de localisation | Pris en charge | Lorsqu’une commande implique des cibles de vol, une carte de confirmation cartographique est automatiquement affichée. Les utilisateurs peuvent vérifier ou ajuster l’emplacement sur la carte. | Déclenché automatiquement par Copilot ; l’utilisateur confirme sur la carte. |
| Confirmation de plan | Pris en charge | Pour les opérations à haut risque comme le décollage ou le déplacement, un aperçu complet du plan de tâche est affiché. L’exécution commence uniquement après confirmation de l’utilisateur. | Déclenché automatiquement par Copilot, l’utilisateur sélectionne « Exécuter Maintenant » ou « Annuler ». |
| Récupération automatique des paramètres de l’appareil | Pris en charge | Récupère automatiquement les paramètres de l’appareil, tels que les limites d’altitude et de distance, l’altitude de RTH et les paramètres de sécurité. | Aucune saisie utilisateur requise. Le système effectue cette opération automatiquement. |
Flux d’utilisation
Flux de travail basique
- Accéder à Copilot : Cliquez sur le bouton Copilot dans le cockpit virtuel ou sur la page d’équipe.
- Confirmer l’appareil : S’assurer que le drone correct est relié.
- Saisir une commande : Décrire la tâche en langage naturel dans la boîte de dialogue, par exemple : « Voler au PinPoint B et prendre une photo ».
- Confirmer la localisation : Si la commande implique une localisation, Copilot affiche une carte de confirmation de la localisation. Confirmer la localisation ou la modifier si nécessaire.
- Confirmer le plan de tâche : Si la commande implique des opérations à haut risque, Copilot affichera un récapitulatif du plan de tâche. L’opération commencera uniquement après la confirmation de l’utilisateur.
- Surveiller l’exécution : Pendant la tâche, la progression peut être surveillée en temps réel dans la fenêtre de discussion.
- Afficher les résultats : Vérifier le rapport de résultats une fois la tâche terminée.
Organigramme : Saisie de la commande > Carte de confirmation de la localisation > Carte de confirmation de la tâche > Progression d’exécution > Rapport de résultats.
Gestion de session
- Créer une nouvelle session : Cliquez sur le bouton Nouvelle session pour démarrer une nouvelle conversation. Chaque session est liée à un drone.
- Historique : Les sessions historiques peuvent être filtrées par date ou faire l’objet d’une recherche par titre.
- Renommer/Supprimer : Les sessions existantes peuvent être renommées ou supprimées depuis la liste de l’historique.
- Délai d’expiration global : Si une session reste active pendant plus de 90 minutes, elle se terminera automatiquement. Planifiez la durée de votre tâche en conséquence.
La capture d’écran montre l’interface de la liste des sessions, et met en évidence les contrôles Nouvelle session, Recherche et Historique.
Consignes pour la rédaction de commandes
Copilot comprend le langage naturel, mais suivre ces consignes améliorera votre expérience :
Formats de commande recommandés :
- « Décoller et monter à 100 m » – Une altitude clairement définie
- « Voler jusqu’à l’entrée du parc » – Un emplacement clairement spécifié
- « Voler vers l’avant sur 50 m, puis prendre une photo » – Direction, distance et action explicites
- « Rechercher une personne portant du rouge » – Description de sujet spécifique
- « Commencer l’enregistrement pendant 30 secondes » – Durée explicite
Commandes non recommandées
- « Voler à l’endroit où nous sommes allés hier » – Référence historique ambiguë. Copilot ne peut pas l’interpréter.
- « Voler jusqu'au parc A, puis jusqu'à la place B, et enfin jusqu'au bâtiment C » – Contient plusieurs points de destination absolus dans une seule commande. Non pris en charge.
- « Incliner la nacelle vers le bas de 35 degrés » – Le contrôle d’angle précis n’est pas pris en charge.
- « Éteindre » – Les commandes dépassant le champ de contrôle ne sont pas prises en charge.
Meilleurs scénarios d’utilisation
Scénario 1 : Patrouille de sécurité – Recherche de cibles dans une zone désignée
Scénario : Le personnel de sécurité reçoit une alerte et doit faire voler le drone vers un lieu spécifié pour rechercher des individus suspects.
Exemple :
User: Fly to the south gate of the park, search for a suspicious person wearing a black jacket, and take a photo once found.
Flux de travail Copilot :
- Rechercher le lieu « Porte sud du parc » et afficher une carte de confirmation de lieu avec une liste de lieux candidats.
- Après que l’utilisateur a confirmé l’emplacement souhaité, générer un plan de tâche (comprenant l’altitude en vol et la stratégie de recherche).
- Une fois le plan confirmé, le drone décolle automatiquement et se rend jusqu’à l’emplacement.
- À l’arrivée, la recherche intelligente VLM s’active automatiquement, puis la caméra grand-angle effectue un balayage circulaire à trois couches.
- Lorsqu’une correspondance est trouvée, la nacelle s’oriente automatiquement vers la cible et prend une photo.
- La tâche se termine et une fiche de rapport de résultats s’affiche (incluant les photos capturées et les journaux de vol).
Scénario 2 : Réponse d’urgence – Arrivée rapide et collecte de preuves vidéo
Scénario : Le centre de commandement reçoit un signalement d’incendie et a besoin qu’un drone atteigne rapidement le site et enregistre une vidéo à des fins de preuve.
Exemple :
User: Fly to the main entrance of the warehouse area and record a video for 60 seconds upon arrival.
Flux de travail Copilot :
- Rechercher « Entrée de la zone d’entrepôt » et demander la confirmation de l’utilisateur.
- Générer un plan de vol indiquant la distance et la durée de vol estimée.
- Après confirmation, le drone décolle et la progression du vol s’affiche en temps réel.
- Une fois que le drone atteint le point de destination, l’enregistrement commence automatiquement pendant 60 secondes.
- Après la fin de l’enregistrement, un rapport de résultats s’affiche.
Opération avancée – Combinée avec la détection VLM :
User: Fly to the warehouse area, search for fire or smoke, and orbit and record a video once found.
Copilot planifie automatiquement l’itinéraire : Voler vers la cible > Activer la détection VLM (étiquettes : feu, fumée) > Effectuer une recherche par balayage circulaire > Lorsqu’une cible est détectée, orienter la nacelle vers celle-ci > Commencer l’enregistrement > Tourner autour du POI > Arrêter l’enregistrement.
Scénario 3 : Inspection de routine — Capture de photos par points et diffusion vocale
Scénario : Une équipe de sécurité dans un parc industriel effectue une patrouille de routine et a besoin qu’un drone se rende à chaque point d’inspection afin d’effectuer des vérifications environnementales et de diffuser des rappels de sécurité.
Exemple :
User: Fly to Helipad B and take a photo.
User: Fly forward 200 meters, tilt the gimbal down, and take 3 photos.
User: Broadcast "Please stay safe. Entry to the construction area is prohibited."
Flux de travail Copilot :
- 1re commande : Aller au Tapis d’atterrissage B (correspond automatiquement au PinPoint dans le projet). Prendre une photo à l’arrivée.
- 2e commande : Voler vers l’avant sur 200 mètres à partir de la position actuelle, orienter la nacelle vers le bas, puis prendre trois photos consécutives.
- 3e commande : Utiliser le haut-parleur pour diffuser le message spécifié.
Scénario 4 : Inspection circulaire de POI
Scénario : Effectuer un cercle à 360 degrés autour des bâtiments ou installations clés pour inspection et enregistrement.
Exemple :
User: Fly to the signal tower, then orbit and record a video.
Flux de travail Copilot :
- Rechercher « Tour de signal » et demander une confirmation.
- Le drone vole vers la tour de signal.
- L’enregistrement démarre automatiquement à l’arrivée (mode d’enregistrement continu).
- Le drone commence automatiquement à tourner autour du POI avec la caméra verrouillée sur la tour.
- Arrêter l’enregistrement après qu’un cercle est terminé.
- Le résultat de la tâche s’affiche.
Avis de sécurité
Arrêt d’urgence
Un bouton rouge d’arrêt d’urgence rouge est affiché en permanence dans le coin inférieur gauche de la fenêtre de discussion. C’est la mesure de sécurité la plus critique.
- Une fois appuyé, le drone se met immédiatement en vol stationnaire et toutes les tâches en cours sont arrêtées.
- La commande d’arrêt d’urgence contourne le traitement par l’IA et est envoyée directement au drone afin de garantir la réponse la plus rapide possible.
- Après qu’un arrêt d’urgence a été déclenché, vous devez envoyer manuellement une nouvelle commande pour reprendre le contrôle.
> Capture d’écran montrant l’emplacement et l’apparence du bouton d’arrêt d’urgence, avec une annotation claire indiquant sa fonction. Gestion des autorisations
- D’autres opérateurs peuvent prendre le contrôle du drone depuis Copilot à tout moment. Lorsque cela se produit, Copilot insère une notification système dans la conversation.
- Si vous tentez de prendre le contrôle d’un drone qui exécute actuellement une tâche, le système affiche une invite de confirmation secondaire.
- Pour contrôler un autre drone, créez une nouvelle session. Le changement d’appareil au sein d’une même session n’est pas pris en charge.
Note importante
- Un seul PinPoint absolu est prise en charge par commande : Les commandes telles que « Aller au point A puis aller au point B » seront rejetées. Veuillez les envoyer sous la forme de deux commandes distinctes.
- Expiration de session de 90 minutes : Une session se termine automatiquement si elle dépasse 90 minutes. Planifiez vos tâches en conséquence.
- Toujours vérifier l’emplacement et les paramètres avant le vol : Copilot affiche une carte de confirmation. Examiner attentivement les coordonnées et les paramètres de vol avant de confirmer l’exécution.
- Surveiller le niveau de batterie : Avant d’exécuter des vols longue distance ou des tâches de recherche, s’assurer que le drone dispose d’une puissance de batterie suffisante.
- Utiliser des libellés de détection clairs et spécifiques pour les recherches VLM : « Personne portant du rouge » donne de meilleurs résultats que « personne suspecte ». Plus la description est précise, meilleure est la détection.
- Séquence d’enregistrement et d’actions : Si vous souhaitez enregistrer pendant le vol en cercle, Copilot commence automatiquement par lancer l’enregistrement, puis commence à tourner ; si vous souhaitez enregistrer une fois le cercle terminé, veuillez préciser « après achèvement » dans l’instruction.
- Panorama : La capture Panorama nécessite que le drone reste en vol stationnaire de manière stable pendant environ 100 secondes. S’assurer que l’environnement alentour est sûr.
FAQ
Q : Copilot peut‑il contrôler plusieurs drones simultanément ? R : Dans la version actuelle, chaque session ne peut être liée qu’à un seul drone. Pour piloter plusieurs drones, créez des sessions distinctes pour chaque appareil.
Q : Puis-je reprendre manuellement le contrôle pendant que Copilot exécute une tâche ? R : Oui. Vous pouvez arrêter la tâche à tout moment à l’aide du bouton d’arrêt d’urgence, ou reprendre manuellement le contrôle dans le cockpit virtuel. Copilot recevra une notification dans la conversation.
Q : Pourquoi Copilot a-t-il rejeté ma commande ? R : Les raisons courantes incluent : La commande contient plusieurs PinPoints absolus. La demande implique des opérations dépassant les capacités de Copilot (par exemple, le réglage des paramètres d’exposition). La description de la cible est trop vague ou trop spécialisée. Copilot fournira une explication précise du refus.
Q : Que faire si la recherche VLM ne parvient pas à trouver le PinPoint ? R : Vous pouvez essayer les opérations suivantes : Affiner le libellé de détection pour le rendre plus précis, changer l’emplacement de recherche, abaisser l’altitude en vol afin d’obtenir un meilleur angle de vue. Notez que les performances de détection VLM peuvent être limitées pour des objets très petits ou des cibles hautement spécialisées.
Q : À quoi l’altitude en vol est-elle relative ? R : Toutes les altitudes en vol dans Copilot correspondent à l’altitude au-dessus du niveau du sol (AGL). Le système recherche automatiquement l’altitude du terrain et calcule l’altitude en valeur absolue. Vous n’avez pas à vous soucier des conversions d’altitude.
Q : Dans les commandes, à quoi correspond la direction « vers l’avant » ? R : Dans les commandes de déplacement relatif, « vers l’avant/l’arrière/la gauche/la droite » sont définies par rapport au cap de l’appareil, et non par rapport aux points cardinaux sur la carte (nord, sud, est, ouest).