Controllo remoto Copilot
Copilot è un assistente AI integrato nella piattaforma FlightHub 2. Gli utenti possono impartire comandi a Copilot usando il linguaggio naturale (testo o voce). L'AI interpreta quindi la richiesta e controlla il drone in tempo reale per eseguire attività operative complesse come volo, fotografia e ricerca, senza richiedere competenze professionali di pilotaggio.【Dispositivi attualmente supportati: DJI Dock 3 e DJI Dock 2】
Come accedere
Copilot offre due punti di accesso:
- Accesso dal cockpit virtuale: nell'interfaccia del cockpit virtuale, fai clic sul pulsante Copilot per aprire la finestra di chat a destra. Il sistema assocerà automaticamente Copilot al dispositivo drone attualmente controllato.
- Accesso dalla pagina Team: fai clic sul pulsante Copilot nella pagina Team per aprire la finestra di chat. Se è già selezionato un dispositivo, verrà associato automaticamente alla sessione. Se non è selezionato alcun dispositivo, l'utente deve selezionarne manualmente uno all'interno della finestra di chat.
Lo screenshot mostra la posizione del pulsante Copilot nell'interfaccia del cockpit virtuale ed evidenzia la finestra di chat che appare dopo avervi fatto clic.
Concetti di base
- Conversazione: ogni interazione con Copilot è chiamata sessione. Una sessione è strettamente associata a un drone: (1 utente : 1 Copilot : 1 drone). Per controllare un altro aeromobile, avvia una nuova conversazione.
- Istruzione: un comando è l'input in linguaggio naturale inserito dall'utente nella casella di chat, ad esempio: "Vola verso l'ingresso del parco e cerca una persona che indossa il rosso". Copilot analizza automaticamente l'istruzione per identificare posizioni, azioni e obiettivi.
- Conferma del piano: quando un comando comporta operazioni ad alto rischio come decollo o volo, Copilot genera un piano di missione e richiede la conferma dell'utente prima di eseguirlo, per garantire sicurezza e controllo.
- Arresto di emergenza: nella finestra di chat è sempre visibile un pulsante rosso di arresto di emergenza. Premendolo, il drone si manterrà immediatamente in volo stazionario sul posto. Questo comando bypassa l'elaborazione AI e viene inviato direttamente al drone.
Panoramica delle capacità di Copilot
Le tabelle seguenti descrivono tutte le capacità attualmente supportate da Copilot, le operazioni non supportate e le considerazioni sull'uso di Copilot.
Controllo del volo
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Volo intelligente verso un punto di destinazione | Supportato | Copilot gestisce automaticamente lo stato di decollo/in volo, il calcolo dell'elevazione del suolo e il recupero dei parametri di volo. È possibile specificare l'altitudine. Si consiglia di abilitare la Pianificazione ottimale intelligente della rotta di volo nel cockpit virtuale. | "Vola verso l'ingresso del parco", "Vola verso il Marker B a 100 metri di altitudine" |
| Decollo / Volo a un'altitudine specificata | Supportato | L'altitudine è misurata come altitudine sul livello del suolo (AGL). Il sistema calcola automaticamente l'altitudine assoluta. A causa di potenziali imprecisioni nei dati di elevazione globali di FlightHub, si consiglia di lasciare un margine di sicurezza sufficiente. | "Decolla", "Decolla a 100 metri", "Vola a 80 metri di altitudine" |
| Volo in direzione relativa | Supportato | In base alla posizione corrente del drone, supporta il movimento relativo in 10 direzioni: avanti, indietro, sinistra, destra, anteriore-sinistra, anteriore-destra, posteriore-sinistra, posteriore-destra, su e giù. | "Vola avanti di 100 metri", "Vola a sinistra di 50 metri", "Sali di 30 metri" |
| Ritorno a casa e atterraggio | Supportato | Il drone ritorna automaticamente al punto di decollo e atterra. | "Ritorna a casa" |
| Arresto di emergenza | Supportato | Il drone si mantiene immediatamente in volo stazionario sul posto. Usare solo in situazioni di emergenza. Dopo l'attivazione, è necessario impartire manualmente un nuovo comando per riprendere le operazioni. | "Arresto di emergenza" o premere il pulsante di arresto di emergenza |
| Voli continui tra più PinPoint | Non supportato | Un singolo comando supporta un solo PinPoint assoluto. Per volare verso più posizioni, impartisci i comandi in sequenza. | — |
| Esecuzione di una missione di volo | Non supportato | I file di missione di volo esistenti non possono essere eseguiti direttamente. È supportato solo il FlyTo in tempo reale. | — |
Fotocamera e imaging
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Scatto di foto | Supportato | Supporta foto singole o multiple. Gli utenti possono impostare il numero di foto e l'intervallo di tempo. | "Scatta una foto", "Scatta 3 foto", "Scatta una foto ogni 2 secondi, 5 volte", "Zoom a 7x e scatta una foto" |
| Registrazione video | Supportato | Supporta la registrazione a tempo e la registrazione continua (arresto manuale). La modalità della fotocamera cambia automaticamente. | "Registra per 30 secondi", "Avvia registrazione" |
| Interrompi registrazione | Supportato | Interrompe in qualsiasi momento una sessione di registrazione attiva. | "Interrompi registrazione" |
| Panoramica | Supportato | Passa automaticamente alla modalità panoramica. Il drone deve mantenere un volo stazionario stabile durante lo scatto (circa 100 secondi). | "Scatta una foto panoramica" |
| Cambio obiettivo | Supportato | Supporta il passaggio tra obiettivi a infrarossi, grandangolare e zoom. | "Passa alla fotocamera a infrarossi", "Passa al grandangolare", "Passa all'obiettivo zoom" |
| Orientare la fotocamera verso una coordinata | Supportato | Orienta la fotocamera verso una posizione geografica specificata. | "Orienta la fotocamera verso l'ingresso del parco" |
| Messa a fuoco/regolazione dell'esposizione manuale | Non supportato | La messa a fuoco manuale (MF/AF), la compensazione dell'esposizione, la modalità notturna e impostazioni simili non sono controllabili. | — |
Controllo del gimbal
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Ricentraggio del gimbal (orizzontale) | Supportato | Il gimbal torna alla sua posizione orizzontale. | "Ricentra il gimbal" |
| Inclinare il gimbal verso il basso | Supportato | Regola il gimbal a 90° verso il basso, adatto per imaging ortografico e missioni di mappatura. | "Orienta il gimbal verso il basso" |
| Controllo preciso dell'angolo di beccheggio/imbardata | Non supportato | Sono disponibili solo due posizioni preimpostate: centrata e verticale verso il basso. La regolazione precisa dell'angolo non è supportata. | — |
Punto di interesse (POI) circolare
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Circumnavigazione del POI | Supportato | Circumnaviga un POI specificato. Il sistema calcola automaticamente il raggio e la durata. È possibile specificare la velocità di circumnavigazione. | "Circumnaviga la torre di segnalazione", "Circumnaviga questo edificio una volta" |
| Esci dal POI | Supportato | Interrompe in qualsiasi momento il volo POI corrente. | "Interrompi la circumnavigazione" |
| Numero di cerchi personalizzato | Supportato | Consente di specificare più cerchi. | "Circumnaviga la torre di segnalazione 3 volte" |
| Raggio del cerchio personalizzato | Non supportato | Il raggio del cerchio è determinato automaticamente dalla distanza corrente tra il drone e il PinPoint. Se la distanza è inferiore a 100 m, il raggio viene automaticamente impostato a 40 m; se la distanza è superiore a 100 m, il raggio viene automaticamente impostato a 100 m. | — |
Ricerca intelligente VLM
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Abilita rilevamento oggetti | Supportato | Esegue il rilevamento oggetti in tempo reale utilizzando un modello visione-linguaggio (VLM). Sono supportate etichette di rilevamento personalizzate. | "Cerca una persona che indossa il rosso", "Rileva fuoco e fumo" |
| Disabilita rilevamento oggetti | Supportato | Interrompe in qualsiasi momento un'attività di rilevamento in corso. | "Interrompi il rilevamento" |
| Scansione di ricerca | Supportato | Esegue uno schema di scansione circolare a tre livelli (da vicino a lontano). Il sistema passa automaticamente alla fotocamera grandangolare ed esegue scansioni rotatorie a 360° per ciascun livello. Questo processo viene attivato automaticamente dopo l'emissione di un comando di ricerca. | "Cerca veicoli nelle vicinanze" (Copilot orchestra automaticamente la sequenza di scansione) |
| Attendi i risultati del rilevamento | Supportato | Blocca e attende che il VLM restituisca i risultati del rilevamento. È possibile configurare un valore di timeout. | Richiamato automaticamente da Copilot; non è richiesto alcun comando manuale. |
| Rilevamento di oggetti piccoli | Non supportato | Gli obiettivi di scala troppo piccola non sono supportati (ad es. "crepe stradali più larghe di 2 cm"). | — |
| Soggetti altamente specializzati | Non supportato | Gli obiettivi estremamente specializzati non sono supportati (ad es. "catene di isolatori a doppia tensione" o altri componenti industriali di nicchia). | — |
Ricerca posizione
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Ricerca per nome del luogo | Supportato | Inserisci una parola chiave di posizione. Il sistema cerca prima i PinPoint all'interno del progetto. Se non viene trovata alcuna corrispondenza, vengono cercate automaticamente posizioni esterne. Vengono restituite fino a cinque posizioni candidate. | "Vola verso il Monte Jiangang", "Vola verso la piazzola di atterraggio" |
| Conferma posizione | Supportato | Dopo aver trovato le coordinate, viene visualizzata una scheda di conferma con un'anteprima della mappa. Gli utenti possono rivedere e modificare la posizione prima di confermare, per evitare una navigazione errata. | Attivato automaticamente da Copilot; l'utente conferma o modifica sulla scheda della mappa. |
| Riferimento storico approssimativo | Non supportato | I riferimenti ambigui a posizioni visitate in precedenza non sono supportati. | — |
| Direzioni puramente relative | Non supportato | Le descrizioni relative senza un punto di ancoraggio geografico non sono supportate. | — |
| Descrizione dell'intervallo di area | Non supportato | La destinazione deve essere un punto specifico. Le descrizioni basate su aree o a corridoio non sono supportate. | — |
Altoparlante
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Diffusione vocale TTS | Supportato | Converte il testo in voce e lo riproduce tramite l'altoparlante del drone. Supporta la riproduzione singola o in loop, con volume regolabile (0–100). Il testo non deve superare 200 caratteri. | "Trasmetti: Si prega di stare lontani. Area di cantiere davanti." / "Riproduzione in loop: Si prega di accostare per l'ispezione." |
| Interrompi diffusione | Supportato | Interrompe in qualsiasi momento una diffusione vocale in corso. | "Interrompi la diffusione" |
Conferma dell'interazione
| Capacità | Stato di supporto | Descrizione | Esempio |
|---|---|---|---|
| Conferma posizione | Supportato | Quando un comando coinvolge obiettivi di volo, viene automaticamente visualizzata una scheda di conferma sulla mappa. Gli utenti possono rivedere o regolare la posizione sulla mappa. | Attivato automaticamente da Copilot; l'utente conferma sulla scheda. |
| Conferma del piano | Supportato | Per operazioni ad alto rischio come decollo o movimento, viene visualizzata un'anteprima completa del piano di missione. L'esecuzione inizia solo dopo la conferma dell'utente. | Attivato automaticamente da Copilot; l'utente seleziona "Esegui ora" o "Annulla". |
| Recupero automatico dei parametri del dispositivo | Supportato | Recupera automaticamente i parametri del dispositivo come i limiti di altitudine e distanza, l'altitudine RTH e le impostazioni di sicurezza. | Non è richiesto alcun input dell'utente. Il sistema lo completa automaticamente. |
Flusso di utilizzo
Flusso di base
- Accedi a Copilot: fai clic sul pulsante Copilot nel cockpit virtuale o nella pagina del team.
- Conferma il dispositivo: assicurati che sia collegato il drone corretto.
- Inserisci un comando: descrivi l'attività in linguaggio naturale nella casella di chat, ad esempio: "Vola verso il PinPoint B e scatta una foto".
- Conferma la posizione: se il comando coinvolge una posizione, Copilot visualizzerà una scheda di conferma della posizione. Conferma la posizione o modificala se necessario.
- Conferma il piano di missione: se il comando coinvolge operazioni ad alto rischio, Copilot visualizzerà un riepilogo del piano di missione. L'operazione inizierà solo dopo la conferma dell'utente.
- Monitora l'esecuzione: durante la missione, l'avanzamento può essere monitorato in tempo reale all'interno della finestra di chat.
- Visualizza i risultati: controlla il report dei risultati al completamento della missione.
Diagramma di flusso: Inserimento comando > Scheda conferma posizione > Scheda conferma missione > Avanzamento esecuzione > Report dei risultati.
Gestione delle sessioni
- Crea una nuova sessione: fai clic sul pulsante Nuova sessione per avviare una nuova conversazione. Ogni sessione è associata a un drone.
- Cronologia: le sessioni storiche possono essere filtrate per data o cercate per titolo.
- Rinomina/Elimina: le sessioni esistenti possono essere rinominate o eliminate dall'elenco della cronologia.
- Timeout globale: se una sessione rimane attiva per più di 90 minuti, terminerà automaticamente. Pianifica di conseguenza la durata della missione.
Lo screenshot mostra l'interfaccia dell'elenco delle sessioni ed evidenzia i controlli Nuova sessione, Cerca e Cronologia.
Linee guida per la scrittura dei comandi
Copilot comprende il linguaggio naturale, ma seguire queste linee guida migliorerà la tua esperienza:
Formati di comando consigliati:
- "Decolla e sali a 100 m" — Un'altitudine chiaramente definita
- "Vola verso l'ingresso del parco" — Una posizione chiaramente specificata
- "Vola avanti di 50 m, poi scatta una foto" — Direzione, distanza e azione esplicite
- "Cerca una persona che indossa il rosso" — Descrizione specifica del soggetto
- "Avvia registrazione per 30 secondi" — Durata esplicita
Comandi sconsigliati
- "Vola verso il luogo che abbiamo visitato ieri" — Riferimento storico ambiguo. Copilot non può interpretarlo.
- "Vola verso il Parco A, poi la Piazza B e infine l'Edificio C" — Contiene più punti di destinazione assoluti in un singolo comando. Non supportato.
- "Inclina il gimbal verso il basso di 35 gradi" — Il controllo preciso dell'angolo non è supportato.
- "Spegni" — I comandi al di fuori dell'ambito di controllo non sono supportati.
Scenari d'uso migliori
Scenario 1: Pattugliamento di sicurezza — Ricerca di un obiettivo in un'area designata
Scenario: Il personale di sicurezza riceve un avviso e necessita che il drone voli verso una posizione specificata per cercare individui sospetti.
Esempio:
Utente: Vola verso il cancello sud del parco, cerca una persona sospetta che indossa una giacca nera e scatta una foto quando la trovi.
Flusso di lavoro di Copilot:
- Cerca la posizione "Cancello Sud del Parco" e visualizza una scheda di conferma della posizione con un elenco di luoghi candidati.
- Dopo che l'utente conferma la posizione desiderata, genera un piano di missione (inclusi altitudine di volo e strategia di ricerca).
- Una volta confermato il piano, il drone decolla automaticamente e vola verso la posizione.
- All'arrivo, la ricerca intelligente VLM viene attivata automaticamente, quindi la fotocamera grandangolare si attiva per una scansione circolare a tre livelli.
- Quando viene trovata una corrispondenza, il gimbal si orienta automaticamente verso l'obiettivo e scatta una foto.
- La missione si completa e viene visualizzata una scheda del report dei risultati (incluse foto catturate e registri di volo).
Scenario 2: Risposta alle emergenze — Arrivo rapido e raccolta di prove video
Scenario: Il centro di comando riceve una segnalazione di incendio e necessita che un drone raggiunga rapidamente il sito e registri un video come prova.
Esempio:
Utente: Vola verso l'ingresso principale dell'area magazzini e registra un video per 60 secondi all'arrivo.
Flusso di lavoro di Copilot:
- Cerca "Ingresso Area Magazzini" e richiede la conferma dell'utente.
- Genera un piano di volo che mostra la distanza e la durata stimate del volo.
- Dopo la conferma, il drone decolla e l'avanzamento del volo viene visualizzato in tempo reale.
- Una volta raggiunto il punto di destinazione, la registrazione inizia automaticamente per 60 secondi.
- Al termine della registrazione, viene visualizzato un report dei risultati.
Operazione avanzata — Combinata con il rilevamento VLM:
Utente: Vola verso l'area magazzini, cerca fuoco o fumo e, una volta trovato, circumnaviga e registra un video.
Copilot pianifica automaticamente la rotta: Vola verso l'obiettivo > Abilita il rilevamento VLM (etichette: fuoco, fumo) > Esegui la scansione di ricerca circolare > Quando viene rilevato un obiettivo, orienta il gimbal verso di esso > Avvia registrazione > Circumnaviga il POI > Interrompi registrazione.
Scenario 3: Ispezione di routine — Scatto di foto basato su punti + diffusione vocale
Scenario: Una squadra di sicurezza in un parco industriale è in pattugliamento di routine e necessita che un drone voli verso ciascun punto di ispezione per eseguire controlli ambientali e diffondere promemoria di sicurezza.
Esempio:
Utente: Vola verso l'Eliporto B e scatta una foto.
Utente: Vola avanti di 200 metri, inclina il gimbal verso il basso e scatta 3 foto.
Utente: Trasmetti "Si prega di stare al sicuro. L'ingresso all'area di cantiere è vietato."
Flusso di lavoro di Copilot:
- 1° comando: Vola verso la Piazzola di atterraggio B (corrisponde automaticamente al PinPoint all'interno del progetto). Scatta una foto all'arrivo.
- 2° comando: Vola avanti di 200 metri dalla posizione corrente, orienta il gimbal verso il basso e scatta tre foto consecutive.
- 3° comando: Usa l'altoparlante per diffondere il messaggio specificato.
Scenario 4: Ispezione circolare POI
Scenario: Esegui un cerchio a 360 gradi attorno a edifici o strutture chiave per l'ispezione e la registrazione.
Esempio:
Utente: Vola verso la torre di segnalazione, poi circumnaviga e registra un video.
Flusso di lavoro di Copilot:
- Cerca "Torre di Segnalazione" e richiede la conferma.
- Il drone vola verso la torre di segnalazione.
- La registrazione inizia automaticamente all'arrivo (modalità di registrazione continua).
- Il drone inizia automaticamente a circumnavigare il POI con la fotocamera bloccata sulla torre.
- Interrompe la registrazione dopo aver completato un giro.
- Viene visualizzato il risultato della missione.
Avviso di sicurezza
Arresto di emergenza
Un pulsante di arresto di emergenza rosso è visualizzato in modo persistente nell'angolo in basso a sinistra della finestra di chat. Questa è la salvaguardia di sicurezza più critica.
- Una volta premuto, il drone si mantiene immediatamente in volo stazionario sul posto e tutte le missioni in corso vengono terminate.
- Il comando di arresto di emergenza bypassa l'elaborazione AI e viene inviato direttamente al drone per garantire la risposta più rapida possibile.
- Dopo l'attivazione di un arresto di emergenza, è necessario inviare manualmente un nuovo comando per riprendere il controllo.
Screenshot che mostra la posizione e l'aspetto del pulsante di arresto di emergenza, con un'annotazione chiara che ne indica la funzione.
Gestione delle autorizzazioni
- Altri operatori possono assumere il controllo del drone da Copilot in qualsiasi momento. Quando ciò accade, Copilot inserisce una notifica di sistema nella conversazione.
- Se si tenta di assumere il controllo di un drone che sta attualmente eseguendo una missione, il sistema visualizza una richiesta di conferma secondaria.
- Per controllare un drone diverso, crea una nuova sessione. Il cambio di dispositivo all'interno della stessa sessione non è supportato.
Importante
- È supportato un solo PinPoint assoluto per comando: comandi come "Vola verso A e poi vola verso B" verranno rifiutati. Emettili come due comandi separati.
- Timeout della sessione di 90 minuti: una sessione terminerà automaticamente se supera i 90 minuti. Pianifica le tue missioni di conseguenza.
- Verifica sempre posizione e parametri prima del volo: Copilot visualizza una scheda di conferma. Rivedi attentamente le coordinate e i parametri di volo prima di confermare l'esecuzione.
- Monitora il livello della batteria: prima di eseguire voli a lunga distanza o missioni di ricerca, assicurati che il drone abbia una batteria sufficiente.
- Usa etichette di rilevamento chiare e specifiche per le ricerche VLM: "Persona che indossa il rosso" dà risultati migliori di "una persona sospetta". Più la descrizione è specifica, migliore sarà il rilevamento.
- Sequenza di registrazione e azioni: se desideri registrare durante la circumnavigazione, Copilot avvia automaticamente prima la registrazione e poi inizia a circumnavigare; se desideri registrare dopo aver completato la circumnavigazione, specifica "dopo il completamento" nell'istruzione.
- Panoramica: la cattura panoramica richiede che il drone resti in volo stazionario stabile per circa 100 secondi. Assicurati che l'ambiente circostante sia sicuro.
FAQ
D: Copilot può controllare più droni contemporaneamente? R: Nella versione corrente, ogni sessione può essere associata a un solo drone. Per operare più droni, crea sessioni separate per ciascun dispositivo.
D: Posso assumere manualmente il controllo mentre Copilot sta eseguendo una missione? R: Sì. Puoi interrompere la missione in qualsiasi momento usando il pulsante di arresto di emergenza oppure riprendere manualmente il controllo nel cockpit virtuale. Copilot riceverà una notifica nella conversazione.
D: Perché Copilot ha rifiutato il mio comando? R: Le cause comuni includono: il comando contiene più PinPoint assoluti. La richiesta comporta operazioni al di fuori delle capacità di Copilot (ad es. la regolazione dei parametri di esposizione). La descrizione dell'obiettivo è troppo vaga o eccessivamente specializzata. Copilot fornirà una spiegazione specifica del rifiuto.
D: Cosa devo fare se la ricerca VLM non riesce a trovare il PinPoint? R: Puoi provare quanto segue: affina l'etichetta di rilevamento per renderla più precisa; cambia la posizione di ricerca; abbassa l'altitudine di volo per ottenere un angolo visivo migliore. Tieni presente che le prestazioni del rilevamento VLM possono essere limitate per oggetti molto piccoli o obiettivi altamente specializzati.
D: Rispetto a cosa è l'altitudine di volo? R: Tutte le altitudini di volo in Copilot sono altitudini sul livello del suolo (AGL). Il sistema cerca automaticamente l'elevazione del suolo e calcola l'altitudine assoluta. Non devi preoccuparti delle conversioni di elevazione.
D: Nei comandi, a cosa si riferisce "avanti"? R: Nei comandi di movimento relativo, "avanti/indietro/sinistra/destra" sono definiti rispetto alla direzione dell'aeromobile, non ai punti cardinali sulla mappa (nord, sud, est, ovest).