Controles de voo ao vivo do Copilot
O Copilot é um assistente de IA integrado à plataforma FlightHub 2. Os usuários podem emitir comandos ao Copilot usando linguagem natural (texto ou voz). A IA então interpreta a solicitação e controla o drone em tempo real para realizar tarefas operacionais complexas, como voo, fotografia e busca, sem exigir habilidades profissionais de pilotagem.【Dispositivos atualmente compatíveis: DJI Dock 3 e DJI Dock 2】
Como acessar
O Copilot oferece dois pontos de acesso:
- Entrada pelo cockpit virtual: Na interface da cabine virtual, clique no botão Copilot para abrir a janela de chat à direita. O sistema vinculará automaticamente o Copilot ao dispositivo de drone que estiver sendo controlado no momento.
- Entrada pela página da equipe: Clique no botão Copilot na página Equipe para abrir a janela de chat. Se um dispositivo já estiver selecionado, ele será vinculado automaticamente à sessão. Se nenhum dispositivo for selecionado, o usuário deverá selecionar manualmente um dispositivo na janela de chat.
A captura de tela mostra a localização do botão Copilot na interface do cockpit virtual e destaca a janela de bate-papo que aparece após clicar nele. Conceitos básicos
- Conversa: Cada interação com o Copilot é chamada de sessão. Uma sessão é estritamente vinculada a um único drone: (1 usuário : 1 Copilot : 1 drone). Para controlar outra aeronave, inicie uma nova conversa.
- Instruções: Um comando é a entrada em linguagem natural inserida pelo usuário na caixa de chat, por exemplo: "Voe até a entrada do parque e procure uma pessoa vestindo vermelho". O Copilot analisa automaticamente a instrução para identificar locais, ações e alvos.
- Confirmação de planejamento: Quando um comando envolve operações de alto risco, como decolagem ou voo, o Copilot gera um plano de missão e solicita a confirmação do usuário antes de executá-lo, a fim de garantir segurança e controle.
- Parada de emergência: Um botão vermelho de parada de emergência está sempre visível na janela de chat. Pressioná-lo fará com que o drone imediatamente paire no local. Este comando ignora o processamento de IA e é enviado diretamente ao drone.
Visão geral das capacidades do Copilot
As tabelas a seguir descrevem todos os recursos atualmente compatíveis com o Copilot, as operações não compatíveis e as considerações de uso do Copilot.
Controlador de voo
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Voo inteligente até o ponto de destino | Suportado | O Copilot gerencia automaticamente o status de decolagem/em voo, o cálculo da elevação do terreno e a recuperação dos parâmetros de voo. A altitude pode ser especificada. Recomenda-se ativar o planejamento inteligente de rotas de voo ideal no cockpit virtual. | “Voe até a entrada do parque”, “Voe até o Marcador B a 100 metros de altitude” |
| Decolar / Voar até a altitude especificada | Suportado | A altitude é medida como altitude acima do nível do solo (AGL). O sistema calcula automaticamente a altitude absoluta. Devido a possíveis imprecisões nos dados globais de elevação do FlightHub, recomendamos deixar uma margem de segurança suficiente. | “Decolar”, “Decolar até 100 metros”, “Voar até 80 metros de altitude” |
| Voo em direção relativa | Suportado | Com base na posição atual do drone, é possível realizar movimentos relativos em 10 direções: para a frente, para trás, para a esquerda, para a direita, para a frente-esquerda, para a frente-direita, para a traseira-esquerda, para a traseira-direita, para cima e para baixo. | "Voar 100 metros para frente", "Voar 50 metros para a esquerda", "Subir 30 metros" |
| Retornar à base e pousar | Suportado | O drone retorna automaticamente ao ponto de decolagem e pousa. | Retorno à base (RTH) |
| Parada de emergência | Suportado | O drone paira imediatamente no local. Use apenas em situações de emergência. Após a ativação, um novo comando deve ser emitido manualmente para retomar as operações. | “Parada de emergência” ou pressione o botão de parada de emergência |
| Voos contínuos entre várias marcações precisas | Sem suporte | Um único comando oferece suporte apenas a uma marcação precisa absoluta. Para voar para vários locais, emita comandos sequencialmente. | — |
| Execução de tarefa de voo | Sem suporte | Arquivos de tarefas de voo existentes não podem ser executados diretamente. Somente o FlyTo em tempo real é compatível. | — |
Câmera e imagem
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Captura de foto | Suportado | Compatível com captura de fotos únicas ou múltiplas. Os usuários podem definir o número de fotos e o intervalo de tempo. | “Tirar uma foto”, “Tirar 3 fotos”, “Tirar uma foto a cada 2 segundos, 5 vezes”, “Dar Zoom até 7x e tirar uma foto” |
| Gravação de vídeo | Suportado | Suporta gravação programada e gravação contínua (interromper manualmente). O modo da câmera é alternado automaticamente. | "Gravar por 30 segundos", "Começar a gravação" |
| Interromper gravação | Suportado | Interrompe uma sessão de gravação ativa a qualquer momento. | "Interromper gravação" |
| Panorâmica | Suportado | Alterna automaticamente para o modo pano. O drone deve manter um voo pairado estável durante a captura (aprox. 100 segundos). | “Tirar uma foto panorâmica” |
| Alternar lente | Suportado | Suporta alternar entre lentes infravermelha, grande-angular e com zoom. | “Alternar para a câmera infravermelha”, “Alternar para grande-angular”, “Alternar para a lente de zoom” |
| Oriente a câmera em direção a uma coordenada | Suportado | Aponta a câmera para uma localização geográfica especificada. | "Aponte a câmera para a entrada do parque" |
| Foco manual / Ajuste de exposição | Sem suporte | O foco Manual (MF/AF), a compensação de exposição, o modo noturno e configurações semelhantes não podem ser controlados. | — |
Controle do estabilizador
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Recentralizar estabilizador (horizontal) | Suportado | O estabilizador retorna à sua posição horizontal. | "Recentralizar o estabilizador" |
| Inclinar estabilizador para baixo | Suportado | Ajusta o estabilizador para 90° para baixo, adequado para tarefas de imageamento ortográfico e mapeamento. | "Apontar o estabilizador para baixo" |
| Controle preciso do ângulo de inclinação/guinada | Sem suporte | Apenas duas posições predefinidas estão disponíveis: central e vertical para baixo. O ajuste preciso de ângulo não suporta. | — |
Circular Ponto de Interesse (POI)
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Circular POI | Suportado | Circule um Ponto de Interesse especificado. O sistema calcula automaticamente o raio e a duração. A velocidade do círculo pode ser especificada. | “Circule a torre de sinal”, “Circule este prédio uma vez” |
| Sair do POI | Suportado | Interrompe o voo atual do POI a qualquer momento. | “Interromper círculo” |
| Contagem personalizada de círculos | Suportado | Permite especificar vários círculos. | "Circule a torre de sinal 3 vezes" |
| Raio personalizado do círculo | Sem suporte | O raio do círculo é determinado automaticamente pela distância atual entre o drone e a marcação precisa. Se a distância for menor que 100 m, o raio será definido automaticamente como 40 m; se a distância for maior que 100 m, o raio será definido automaticamente como 100 m. | — |
Pesquisa inteligente VLM
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Habilitar detecção de objetos | Suportado | Realiza detecção de objetos em tempo real usando um modelo de visão e linguagem (VLM). Rótulos de detecção personalizados são compatíveis. | "Procurar uma pessoa vestindo vermelho", "Detectar fogo e fumaça" |
| Desabilitar detecção de objetos | Suportado | interrompe uma tarefa de detecção em andamento a qualquer momento. | “Interromper detecção” |
| Varredura de busca | Suportado | Executa um padrão de varredura circular em três camadas (de perto para longe). O sistema alterna automaticamente para a câmera grande-angular e realiza varreduras rotacionais de 360° para cada camada. Esse processo é acionado automaticamente após a emissão de um comando de busca. | “Buscar veículos próximos” (o Copilot orquestra automaticamente a sequência de varredura) |
| Aguardar resultados de detecção | Suportado | Bloqueia e aguarda o VLM retornar os resultados de detecção. Um valor de tempo limite pode ser configurado. | Invocado automaticamente pelo Copilot; nenhum comando manual é necessário. |
| Detecção de objetos pequenos | Sem suporte | Alvos com escala muito pequena não são compatíveis (por exemplo, “rachaduras na estrada maiores que 2 cm”). | — |
| Temas altamente especializados | Sem suporte | Alvos extremamente especializados não são compatíveis (por exemplo, “cadeias de isoladores de dupla tensão” ou outros componentes industriais de nicho). | — |
Pesquisa de localização
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Pesquisar por nome de localização | Suportado | Digite uma palavra-chave de localização. O sistema primeiro pesquisa as marcações precisas dentro do projeto. Se não for encontrada nenhuma correspondência, as localizações externas são pesquisadas automaticamente. Até cinco localizações candidatas são retornadas. | "Voar até Jiangang Mountain", "Voar até a área de pouso" |
| Confirmação de localização | Suportado | Após encontrar as coordenadas, é exibido um cartão de confirmação com uma pré-visualização do mapa. Os usuários podem revisar e modificar a localização antes de confirmar para evitar uma navegação incorreta. | Acionado automaticamente pelo Copilot; o usuário confirma ou edita no cartão de mapa. |
| Referência histórica imprecisa | Sem suporte | Referências ambíguas a locais visitados anteriormente não são compatíveis. | — |
| Direções puramente relativas | Sem suporte | Descrições relativas sem um ponto de ancoragem geográfica não são compatíveis. | — |
| Descrição do intervalo da área | Sem suporte | O destino deve ser um ponto específico. Descrições baseadas em área ou em corredor não são compatíveis. | — |
Alto-falante
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Transmissão de voz TTS | Suportado | Converte texto em fala e o reproduz pelo alto-falante do drone. Suporta reprodução única ou em loop, com volume ajustável (0–100). O texto não deve exceder 200 caracteres. | “Transmissão: Por favor, mantenha distância. Área em construção à frente.” / “Reprodução em loop: Por favor, encoste o veículo para inspeção. |
| Interromper transmissão | Suportado | Interrompe uma transmissão de voz em andamento a qualquer momento. | "Interromper transmissão" |
Confirmação de interação
| Recurso | Status de suporte | Descrição | Exemplo |
|---|---|---|---|
| Confirmação de localização | Suportado | Quando um comando envolve alvos de voo, um cartão de confirmação de mapa é exibido automaticamente. Os usuários podem revisar ou ajustar a localização no mapa. | Acionado automaticamente pelo Copilot; o usuário confirma no cartão. |
| Confirmação do plano | Suportado | Para operações de alto risco, como decolagem ou movimento, é exibida uma visualização completa do plano de tarefa. A execução começa apenas após a confirmação do usuário. | Acionado automaticamente pelo Copilot; o usuário seleciona “Executar Já” ou “Cancelar”. |
| Recuperação automática de parâmetros do dispositivo | Suportado | Recupera automaticamente parâmetros do dispositivo, como limitações de altitude e distância, altitude de RTH e configurações de failsafe. | Nenhuma entrada do usuário é necessária. O sistema conclui isso automaticamente. |
Fluxo de uso
Fluxo básico
- Entrar no Copilot: Clique no botão Copilot no cockpit virtual ou na página da equipe.
- Confirmar dispositivo: Certifique-se de que o drone correto esteja vinculado.
- Digite um comando: Descreva a tarefa em linguagem natural na caixa de chat, por exemplo: "Voe até a marcação precisa B e tire uma foto".
- Confirmar localização: Se o comando envolver uma localização, o Copilot exibirá um cartão de confirmação de localização. Confirme a localização ou modifique-a, se necessário.
- Confirmar plano de tarefa: Se o comando envolver operações de alto risco, o Copilot exibirá um resumo do plano de tarefa. A operação começará somente após a confirmação do usuário.
- Monitoramento da execução: Durante a tarefa, o progresso pode ser monitorado em tempo real na janela de chat.
- Ver resultados: Verifique o relatório de resultado após a conclusão da tarefa.
Fluxograma: Entrada de comando > Card de confirmação de localização > Card de confirmação de tarefa > Progresso de execução > Relatório de resultados.
Gerenciamento de sessão
- Criar uma nova sessão: Clique no botão Nova sessão para iniciar uma nova conversa. Cada sessão está vinculada a um drone.
- Histórico: Sessões históricas podem ser filtradas por data ou pesquisadas pelo título.
- Renomear/Excluir: Sessões existentes podem ser renomeadas ou excluídas na lista de histórico.
- Tempo limite global: Se uma sessão permanecer ativa por mais de 90 minutos, ela será encerrada automaticamente. Planeje a duração da sua tarefa de acordo.
A captura de tela mostra a interface da lista de sessões e destaca os controles Nova sessão, Buscar e Histórico.
Diretrizes para escrita de comandos
O Copilot entende linguagem natural, mas seguir estas diretrizes vai melhorar sua experiência:
Formatos de comandos recomendados:
- “Decole e suba até 100 m” — Uma altitude claramente definida
- "Voe até a entrada do parque" — Um local claramente especificado
- "Voe para a frente 50 m e, em seguida, tire uma foto" — direção, distância e ação explícitas
- “Procure uma pessoa usando vermelho” — descrição específica do sujeito
- "Começar a gravar por 30 segundos" — Duração explícita
Comandos não recomendados
- "Voe até o lugar que visitamos ontem" — Referência histórica ambígua. O Copilot não consegue interpretá-lo.
- “Voe até o Parque A, depois até a Praça B e, por fim, até o Edifício C” — Contém múltiplos pontos de destino absolutos em um único comando. Não suportado.
- “Incline o estabilizador 35 graus para baixo” — o controle preciso de ângulo não é suportado.
- “Desligar” — Comandos fora do escopo de controle não são suportados.
Melhores cenários de uso
Cenário 1: Monitoramento de segurança — Busca de alvos em uma área designada
Cenário: A equipe de segurança recebe um alerta e precisa que o drone voe até um local específico para procurar indivíduos suspeitos.
Exemplo:
User: Fly to the south gate of the park, search for a suspicious person wearing a black jacket, and take a photo once found.
Fluxo de trabalho do Copilot:
- Pesquise pelo local “Portão Sul do parque” e exiba um cartão de confirmação de local com uma lista de locais candidatos.
- Após o usuário confirmar a localização desejada, gera um plano de tarefa (incluindo altitude de voo e estratégia de busca).
- Após a confirmação do plano, o drone decola automaticamente e voa até o local.
- Após a chegada, a busca inteligente VLM é ativada automaticamente e, em seguida, a câmera grande-angular realiza uma varredura circular em três camadas.
- Quando uma correspondência é encontrada, o estabilizador aponta automaticamente para o alvo e tira uma foto.
- A tarefa é concluída e um cartão de relatório de resultados é exibido (incluindo fotos capturadas e registros de voo).
Cenário 2: Resposta a emergências — chegada rápida e coleta de evidências em vídeo
Cenário: O centro de comando recebe um relato de incêndio e precisa que um drone chegue rapidamente ao local e grave vídeo como evidência.
Exemplo:
User: Fly to the main entrance of the warehouse area and record a video for 60 seconds upon arrival.
Fluxo de trabalho do Copilot:
- Pesquise por “Entrada da área do armazém” e solicite a confirmação do usuário.
- Gera um plano de voo que mostra a distância de voo estimada e a duração.
- Após a confirmação, o drone decola e o progresso do voo é exibido em tempo real.
- Quando o drone chega ao ponto de destino, a gravação é iniciada automaticamente por 60 segundos.
- Após o término da gravação, um relatório de resultados é exibido.
Operação Avançado — combinada com detecção VLM:
User: Fly to the warehouse area, search for fire or smoke, and orbit and record a video once found.
O Copilot planeja automaticamente a rota: Voe até o alvo > Habilitar detecção VLM (rótulos: fogo, fumaça) > Realizar varredura de busca circular > Quando um alvo for detectado, orientar o estabilizador em sua direção > Começar a gravação > Circular o Ponto de Interesse (POI) > Interromper a gravação.
Cenário 3: Inspeção de rotina — captura de fotos por pontos + transmissão por voz
Cenário: Uma equipe de segurança em um parque industrial está em uma patrulha de rotina e precisa que um drone voe até cada ponto de inspeção para realizar verificações ambientais e transmitir lembretes de segurança.
Exemplo:
User: Fly to Helipad B and take a photo.
User: Fly forward 200 meters, tilt the gimbal down, and take 3 photos.
User: Broadcast "Please stay safe. Entry to the construction area is prohibited."
Fluxo de trabalho do Copilot:
- 1º comando: Voe até o tapete de pouso B (corresponde automaticamente à marcação precisa dentro do projeto). Tire uma foto ao chegar.
- 2º comando: Voe 200 metros para a frente a partir da posição atual, aponte o estabilizador para baixo e tire três fotos consecutivas.
- 3º comando: Use o alto-falante para transmitir a mensagem especificada.
Cenário 4: Inspeção em círculo POI
Cenário: Realizar um círculo de 360 graus em torno de prédios ou instalações-chave para inspeção e registro.
Exemplo:
User: Fly to the signal tower, then orbit and record a video.
Fluxo de trabalho do Copilot:
- Pesquise por “Torre de sinal” e solicite confirmação.
- O drone voa até a torre de sinal.
- A gravação é iniciada automaticamente ao chegar (modo de gravação contínua).
- O drone começa a circular o POI automaticamente, com a câmera travada na torre.
- Interromper a gravação após a conclusão de um ciclo.
- O resultado da tarefa é exibido.
Aviso de segurança
Parada de emergência
Um botão vermelho de Parada de emergência é exibido de forma permanente no canto inferior esquerdo da janela de chat. Esta é a medida de segurança mais crítica.
- Uma vez pressionado, o drone paira imediatamente no lugar e todas as tarefas em andamento são interrompidas.
- O comando de Parada de emergência ignora o processamento de IA e é enviado diretamente para o drone para garantir a resposta mais rápida possível.
- Após um Interromper de emergência ser acionado, você deve enviar manualmente um novo comando para retomar o controle.
> Captura de tela mostrando a localização e a aparência do botão de Parada de emergência, com uma anotação clara indicando sua função. Gerenciamento de permissões
- Outros operadores podem assumir o controle do drone a partir do Copilot a qualquer momento. Quando isso ocorre, o Copilot insere uma notificação do sistema na conversa.
- Se você tentar assumir o controle de um drone que estiver executando uma tarefa, o sistema exibirá uma segunda solicitação de confirmação.
- Para controlar outro drone, crie uma nova sessão. A troca de dispositivos dentro da mesma sessão não é compatível.
Importante
- Apenas uma marcação precisa absoluta é suportada por comando: Comandos como “Voar até A e depois voar até B” serão rejeitados. Emita-os como dois comandos separados.
- Tempo limite de sessão de 90 minutos: Uma sessão será encerrada automaticamente se exceder 90 minutos. Planeje suas tarefas de acordo.
- Sempre verifique a localização e os parâmetros antes do voo: O Copilot exibe um cartão de confirmação. Revise cuidadosamente as coordenadas e os parâmetros de voo antes de confirmar a execução.
- Monitorar o nível da bateria: Antes de executar voos de longa distância ou tarefas de busca, certifique-se de que o drone tenha carga de bateria suficiente.
- Use rótulos de detecção claros e específicos para buscas VLM: “Pessoa vestindo vermelho” produz resultados melhores do que “uma pessoa suspeita”. Quanto mais específica for a descrição, melhor será a detecção.
- Sequência de gravação e ações: Se você quiser gravar enquanto estiver circundando, o Copilot inicia a gravação automaticamente primeiro e depois começa a circular; se você quiser gravar após a conclusão da circulação, especifique "após a conclusão" na instrução.
- Panorâmica: A captura Panorâmica exige que o drone paire de forma estável por aproximadamente 100 segundos. Certifique-se de que o ambiente ao redor esteja seguro.
Perguntas frequentes
P: O Copilot pode controlar vários drones simultaneamente? R: Na versão atual, cada sessão só pode ser vinculada a um drone. Para operar vários drones, crie sessões separadas para cada dispositivo.
P: Posso assumir o controle manualmente enquanto o Copilot está executando uma tarefa?
R: Sim. Você pode interromper a tarefa a qualquer momento usando o botão de Parada de emergência ou retomar manualmente o controle no cockpit virtual. O Copilot receberá uma notificação na conversa.
P: Por que o Copilot rejeitou meu comando? R: Motivos comuns incluem: O comando contém várias marcações precisas absolutas. A solicitação envolve operações além das capacidades do Copilot (por exemplo, ajustar parâmetros de exposição). A descrição do alvo é vaga demais ou excessivamente especializada. O Copilot fornecerá uma explicação específica para a rejeição.
P: O que devo fazer se a busca VLM não conseguir encontrar a marcação precisa? R: Você pode tentar o seguinte: Refine o rótulo de detecção para torná-lo mais preciso; altere o local de busca; reduza a altitude de voo para obter um ângulo visual melhor. Observe que o desempenho de detecção do VLM pode ser limitado para objetos muito pequenos ou alvos altamente especializados.
P: A que a altitude de voo se refere? R: Todas as altitudes de voo no Copilot são altitudes acima do nível do solo (AGL). O sistema pesquisa automaticamente a elevação do terreno e calcula a altitude absoluta. Você não precisa se preocupar com conversões de elevação.
P: Nos comandos, a que direção “para frente” se refere? R: Em comandos de movimento relativo, “frente/trás/esquerda/direita” são definidos em relação ao rumo da aeronave, e não aos pontos cardeais no mapa (norte, sul, leste, oeste).