Управление полетом в реальном времени Copilot
Copilot — это помощник на базе ИИ, интегрированный в платформу FlightHub 2. Пользователи могут отправлять команды Copilot с помощью естественного языка (текстом или голосом). ИИ анализирует запрос и в реальном времени управляет дроном для выполнения сложных задач, таких как полет, съемка и поиск, без необходимости профессиональных навыков пилотирования.【Текущие поддерживаемые устройства: DJI Dock 3 и DJI Dock 2】
Как получить доступ
Copilot предлагает два варианта входа:
- Вход через виртуальную кабину: В интерфейсе виртуальной кабинынажмите кнопку «Copilot», чтобы открыть окно чата справа. Система автоматически привяжет Copilot к текущему управляемому устройству дрона.
- Вход со страницы команды: Нажмите кнопку «Copilot» на странице команды, чтобы открыть окно чата. Если устройство уже выбрано, оно будет автоматически привязано к сессии. Если устройство не выбрано, необходимо вручную выбрать его в окне чата.
На скриншоте показано расположение кнопки «Copilot» в интерфейсе виртуальной кабины, а также окно чата, которое появляется после нажатия. Базовые понятия
- Сессия: Каждое взаимодействие с Copilot называется сессией Сессия строго привязана к одному дрону: (1 пользователь : 1 Copilot : 1 дрон) Чтобы управлять другим дроном, начните новую сессию.
- Инструкция: Команда — это ввод на естественном языке, который пользователь вводит в поле чата, например: «Лети к входу в парк и найди человека в красном» Copilot автоматически разбирает команду, определяя локации, действия и цели.
- Подтверждение плана: Если команда включает операции повышенного риска, такие как взлет или полет, Copilot формирует план миссии и запрашивает подтверждение перед выполнением, чтобы обеспечить безопасность и контроль.
- Аварийная остановка: Красная кнопка аварийной остановки всегда отображается в окне чата При нажатии дрон немедленно зависает на месте Эта команда обходит обработку ИИ и отправляется напрямую дрону
Обзор возможностей Copilot
Следующие таблицы описывают все поддерживаемые возможности Copilot, неподдерживаемые операции и особенности использования.
Управление полетом
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Интеллектуальный полет к точке назначения | Поддерживается | Copilot автоматически учитывает состояние взлета/полета, рассчитывает высоту поверхности и получает параметры полета. Можно указать высоту. Рекомендуется включить интеллектуальное планирование оптимального маршрута полета в виртуальной кабине. | «Лети к входу в парк», «Лети к маркеру B на высоте 100 метров» |
| Взлет / полет на заданную высоту | Поддерживается | Высота измеряется как высота над уровнем земли (AGL). Система автоматически рассчитывает абсолютную высоту. Из-за возможных неточностей глобальных данных высот FlightHub рекомендуется оставлять достаточный запас безопасности. | «Взлет», «Взлет на 100 метров», «Лети на высоте 80 метров» |
| Полет в относительном направлении | Поддерживается | Относительно текущего положения дрона поддерживается движение в 10 направлениях: вперед, назад, влево, вправо, вперед-влево, вперед-вправо, назад-влево, назад-вправо, вверх и вниз. | «Лети вперед на 100 метров», «Лети влево на 50 метров», «Поднимись на 30 метров» |
| Возврат домой и посадка | Поддерживается | Дрон автоматически возвращается в точку взлета и выполняет посадку. | «Возврат домой» |
| Аварийная остановка | Поддерживается | Дрон немедленно зависает на месте. Используйте только в экстренных ситуациях. После активации необходимо вручную отправить новую команду для продолжения работы. | «Аварийная остановка» или нажмите кнопку аварийной остановки |
| Последовательные полеты между несколькими точками PinPoint | Не поддерживается | Одна команда поддерживает только одну абсолютную точку PinPoint. Для полета по нескольким точкам отправляйте команды последовательно. | — |
| Выполнение полетных задач | Не поддерживается | Существующие файлы полетных задач нельзя запускать напрямую. Поддерживается только управление в реальном времени FlyTo. | — |
Камера и съемка
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Съемка фото | Поддерживается | Поддерживается одиночная и серийная съемка. Можно задать количество снимков и интервал. | «Сделай фото», «Сделай 3 фото», «Делай фото каждые 2 секунды, 5 раз», «Увеличь до 7х и сделай фото» |
| Запись видео | Поддерживается | Поддерживается запись по времени и непрерывная запись (с ручной остановкой). Режим камеры переключается автоматически. | «Сними 30 секунд», «Начни запись» |
| Остановить запись | Поддерживается | Останавливает текущую запись в любой момент | «Останови запись» |
| Панорама | Поддерживается | Автоматически переключается в режим панорамы. Во время съемки дрон должен стабильно зависать (примерно 100 секунд). | «Сделай панорамное фото» |
| Переключение объектива | Поддерживается | Поддерживается переключение между инфракрасной, широкоугольной и зум-камерой. | «Переключись на инфракрасную камеру», «Переключись на широкоугольную камеру», «Переключись на зум-объектив» |
| Наведение камеры на координаты | Поддерживается | Камера направляется на заданную географическую точку. | «Наведи камеру на вход в парк» |
| Ручная фокусировка / настройка экспозиции | Не поддерживается | Ручная фокусировка (MF/AF), компенсация экспозиции, ночной режим и аналогичные параметры не поддерживаются | — |
Управление стабилизатором
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Центрирование стабилизатора (горизонт) | Поддерживается | Стабилизатор возвращается в горизонтальное положение. | «Центрируй стабилизатор» |
| Наклон стабилизатора вниз | Поддерживается | Устанавливает стабилизатор под углом 90° вниз, подходит для ортофотосъемки и задач картографирования. | «Направь стабилизатор вниз» |
| Точное управление углами тангажа / рыскания | Не поддерживается | Доступны только два фиксированных положения: центр и вертикально вниз. Точная настройка углов не поддерживается. | — |
Облет точки интереса (POI)
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Облет точки интереса | Поддерживается | Выполняет облет заданной точки интереса. Система автоматически рассчитывает радиус и длительность. Можно задать скорость облета. | «Облети вышку», «Облети это здание один раз» |
| Выход из режима точки интереса | Поддерживается | Останавливает текущий облет точки интереса в любой момент. | «Останови облет» |
| Пользовательское количество кругов | Поддерживается | Позволяет задать количество кругов. | «Облети вышку 3 раза» |
| Пользовательский радиус облета | Не поддерживается | Радиус определяется автоматически на основе текущего расстояния между дроном и точкой PinPoint. Если расстояние менее 100 м, радиус автоматически устанавливается 40 м; если более 100 м — 100 м. | — |
Интеллектуальный поиск VLM
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Включить обнаружение объектов | Поддерживается | Выполняет обнаружение объектов в реальном времени с использованием модели визуально-языковой модели (VLM). Поддерживаются пользовательские метки обнаружения. | «Найди человека в красном», «Найди огонь и дым» |
| Отключить обнаружение объектов | Поддерживается | Останавливает текущую задачу обнаружения в любой момент. | «Останови обнаружение» |
| Сканирование поиска | Поддерживается | Выполняет трехуровневое круговое сканирование (от ближней зоны к дальней). Система автоматически переключается на широкоугольную камеру и выполняет вращение на 360° для каждого уровня. Этот процесс запускается автоматически после команды поиска. | «Найди ближайшие автомобили» (Copilot автоматически выполняет последовательность сканирования) |
| Ожидание результатов обнаружения | Поддерживается | Блокирует выполнение и ожидает результатов от VLM. Можно задать тайм-аут. | Вызывается автоматически Copilot, ручная команда не требуется. |
| Обнаружение мелких объектов | Не поддерживается | Слишком мелкие объекты не поддерживаются (например, «трещины на дороге более 2 см»). | — |
| Высокоспециализированные объекты | Не поддерживается | Крайне специфические цели не поддерживаются (например, «двойные гирлянды натяжных изоляторов» или другие узкоспециализированные промышленные компоненты). | — |
Поиск местоположения
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Поиск по названию места | Поддерживается | Введите ключевое слово местоположения. Система сначала ищет точки PinPoint внутри проекта. Если совпадений нет, автоматически выполняется поиск во внешних источниках. Возвращается до пяти вариантов. | «Лети к горе Цзянган», «Лети к посадочной площадке» |
| Подтверждение местоположения | Поддерживается | После определения координат отображается карточка подтверждения с предпросмотром карты. Пользователь может проверить и изменить локацию перед подтверждением, чтобы избежать ошибок навигации. | Вызывается автоматически Copilot; пользователь подтверждает или редактирует на карточке карты. |
| Нечеткие ссылки на историю | Не поддерживается | Не поддерживаются неоднозначные ссылки на ранее посещенные места. | — |
| Чисто относительные направления | Не поддерживается | Не поддерживаются описания без географической привязки. | — |
| Описание области | Не поддерживается | Целевая точка должна быть конкретной точкой. Описания на основе области или коридора не поддерживаются. | — |
Динамик
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Объявления с преобразованием текста в речь | Поддерживается | Преобразует текст в речь и воспроизводит ее через динамик дрона. Поддерживается однократное воспроизведение или циклическое воспроизведение, с регулировкой громкости (0–100). Текст не должен превышать 200 символов. | «Сделай объявление» Пожалуйста, не приближайтесь. Впереди строительная зона.» / «Циклическое воспроизведение: Пожалуйста, остановитесь для проверки.» |
| Остановить объявление | Поддерживается | Останавливает текущее голосовое объявление в любой момент. | «Останови объявление» |
Подтверждение взаимодействия
| Возможность | Состояние поддержки | Описание | Пример |
|---|---|---|---|
| Подтверждение местоположения | Поддерживается | Если команда включает цель полета, автоматически отображается карточка подтверждения местоположения. Пользователь может проверить или скорректировать местоположение на карте. | Вызывается автоматически Copilot; пользователь подтверждает на карточке. |
| Подтверждение плана | Поддерживается | Для операций повышенного риска, таких как взлет или перемещение, отображается полный предварительный план задачи. Выполнение начинается только после подтверждения пользователем. | Вызывается автоматически силами Copilot; пользователь выбирает «Выполнить сейчас» или «Отмена». |
| Автоматическое получение параметров устройства | Поддерживается | Автоматически получает параметры устройства, такие как ограничения высоты и расстояния, высота возврата домой и настройки аварийной защиты. | Ввод данных пользователем не требуется. Система выполняет это автоматически. |
Рабочий процесс
Базовый процесс
- Вход в Copilot: Нажмите кнопку «Copilot» в виртуальной кабине или на странице команды.
- Подтвердить устройство: Убедитесь, что выбран правильный дрон.
- Введите команду: Опишите задачу на естественном языке в окне чата, например: «Лети к точке PinPoint B и сделай фото».
- Подтвердите местоположение: Если команда включает местоположение, Copilot отобразит карточку подтверждения. Подтвердите местоположение или измените его при необходимости.
- Подтвердить план задачи: Если команда включает операции повышенного риска, Copilot отобразит сводку плана. Выполнение начнется только после подтверждения.
- Отслеживать выполнение: Во время выполнения задачи прогресс можно отслеживать в окне чата в реальном времени.
- Просмотреть результат: Проверьте отчет о результате после завершения задачи.
Блок-схема: Ввод команды > Карточка подтверждения местоположения > Карточка подтверждения задачи > Ход выполнения > Отчет о результате.
Управление сессиями
- Создать новую сессию: Нажмите кнопку «Новая сессия», чтобы начать новый диалог. Каждая сессия привязана к одному дрону.
- История: Исторические сеансы можно отфильтровать по дате или найти по названию.
- Переименовать/Удалить: Существующие сессии можно переименовать или удалить из списка истории.
- Глобальное время ожидания: Если сессия остается активной более 90 минут, она автоматически завершится. Планируйте длительность задачи соответствующим образом.
На скриншоте показан интерфейс списка сессий с выделенными элементами «Новая сессия», «Поиск» и «История».
Рекомендации по написанию команд
Copilot понимает естественный язык, но соблюдение следующих рекомендаций улучшит результат:
Рекомендуемые форматы команд:
- «Взлети и поднимись на 100 м» — четко задана высота
- «Лети к входу в парк» — четко указано местоположение
- «Лети вперед на 50 м, затем сделай фото» — явно указаны направление, расстояние и действие
- «Найди человека в красной одежде» — конкретное описание объекта
- «Начни запись на 30 секунд» — задана продолжительность
Не рекомендуется
- «Лети туда, где мы были вчера» — неоднозначная ссылка на прошлое. Copilot не может это интерпретировать.
- «Лети к парку A, затем к площади B, а затем к зданию C» — несколько абсолютных точек в одной команде. Не поддерживается.
- «Наклони стабилизатор на 35 градусов» — точное управление углом не поддерживается.
- «Выключи питание» — команды вне области управления не поддерживаются.
Лучшие сценарии использования
Сценарий 1: Патрулирование безопасности — поиск цели в заданной области
Сценарий: Сотрудники службы безопасности получают сигнал тревоги и должны направить дрон в указанную точку для поиска подозрительных лиц.
Пример:
User: Fly to the south gate of the park, search for a suspicious person wearing a black jacket, and take a photo once found.
Сценарий работы Copilot:
- Найти местоположение «Южные ворота парка» и отобразить карточку подтверждения местоположения со списком возможных вариантов.
- После того как пользователь подтвердит нужное местоположение, сформировать план задачи (включая высоту полета и стратегию поиска).
- После подтверждения плана дрон автоматически взлетает и направляется к точке.
- По прибытии автоматически включается интеллектуальный поиск VLM, затем широкоугольная камера выполняет трехуровневое круговое сканирование.
- При обнаружении совпадения стабилизатор автоматически наводится на цель и выполняется съемка фото.
- Задача завершается, и отображается карточка результата (включая полученные фотографии и журналы полета).
Сценарий 2: Реагирование на чрезвычайные ситуации — быстрое прибытие и сбор видео-доказательств
Сценарий: Центр управления получает сообщение о пожаре и должен быстро направить дрон на место для записи видео в качестве доказательства.
Пример:
User: Fly to the main entrance of the warehouse area and record a video for 60 seconds upon arrival.
Сценарий работы Copilot:
- Найти «Вход в складскую зону» и запросить подтверждение у пользователя.
- Сформировать план полета с отображением расчетного расстояния и времени.
- После подтверждения дрон взлетает, и прогресс полета отображается в реальном времени.
- После прибытия в точку автоматически начинается запись на 60 секунд.
- После завершения записи отображается отчет о результате.
РРасширенный сценарий — совместно с обнаружением VLM:
User: Fly to the warehouse area, search for fire or smoke, and orbit and record a video once found.
Copilot автоматически строит маршрут: Полет к цели > Включение обнаружения VLM (метки: огонь, дым) > Выполнение кругового сканирования поиска > При обнаружении цели направить стабилизатор на нее > Начать запись > Выполнить облет POI > Остановить запись.
Сценарий 3: Плановая инспекция — съемка по точкам + голосовое объявление
Сценарий: Команда безопасности на промышленной площадке выполняет плановый обход и использует дрон для облета точек проверки, выполнения осмотра и трансляции голосовых предупреждений.
Пример:
User: Fly to Helipad B and take a photo.
User: Fly forward 200 meters, tilt the gimbal down, and take 3 photos.
User: Broadcast "Please stay safe. Entry to the construction area is prohibited."
Сценарий работы Copilot:
- 1-я команда: Лети к посадочной площадке B (автоматически сопоставляется с точкой PinPoint в проекте). Сделать фото по прибытии.
- 2-я команда: Лети вперед на 200 м от текущего положения, направь стабилизатор вниз и сделай три последовательных фото.
- 3-я команда: Использовать динамик для трансляции заданного объявления.
Сценарий 4: Инспекция с облетом точкии интереса
Сценарий: Выполнить круговой облет ключевых зданий или объектов на 360° для осмотра и записи.
Пример:
User: Fly to the signal tower, then orbit and record a video.
Сценарий работы Copilot:
- Найти вышку и запросить подтверждение.
- Дрон летит к вышке.
- По прибытии автоматически начинается запись (режим непрерывной записи).
- Дрон автоматически начинает облет точки интереса с фиксацией камеры на вышке.
- Остановить запись после завершения одного круга.
- Отобразить результат задачи.
Уведомление о безопасности
Аварийная остановка
Красная кнопка Аварийная остановка постоянно отображается в левом нижнем углу окна чата. Это самый важный механизм безопасности.
- При нажатии дрон немедленно зависает на месте, и все текущие задачи прекращаются.
- Команда аварийной остановки обходит обработку ИИ и отправляется напрямую дрону для максимально быстрого отклика.
- После срабатывания аварийной остановки необходимо вручную отправить новую команду для восстановления управления.
> Скриншот показывает расположение и внешний вид кнопки аварийной остановки с наглядным указанием ее функции. Управление правами доступа
- Другие операторы могут в любой момент перехватить управление дроном у Copilot. В этом случае Copilot добавляет системное уведомление в диалог.
- Если вы пытаетесь взять управление дроном, который выполняет задачу, система отобразит дополнительное окно подтверждения.
- Чтобы управлять другим дроном, создайте новую сессию. Переключение устройств в рамках одной сессии не поддерживается.
Важно
- В одной команде поддерживается только одна абсолютная точка PinPoint: Команды вида «Лети к A, а затем к B» будут отклонены. Разделяйте их на две отдельные команды.
- Время ожидания сессии 90 минут: Сессия автоматически завершится, если длится более 90 минут. Планируйте задачи с учетом этого ограничения.
- Всегда проверяйте местоположение и параметры перед полетом: Copilot отображает карточку подтверждения. Внимательно проверяйте координаты и параметры полета перед подтверждением выполнения.
- Контролируйте уровень заряда аккумулятора: Перед выполнением полетов на большие расстояния или поисковых задач убедитесь, что у дрона достаточно заряда аккумулятора.
- Используйте четкие и конкретные метки обнаружения для поиска VLM: «Человек в красном» дает более точные результаты, чем «подозрительный человек». Чем точнее описание, тем лучше результат обнаружения.
- Последовательность записи и действий: Если нужно вести запись во время облета, Copilot сначала автоматически начинает запись, а затем выполняет облет; если запись должна начаться после облета, укажите «после завершения» в команде.
- Панорама: Съемка панорамы требует стабильного зависания дрона примерно 100 секунд. Убедитесь, что окружающая среда безопасна.
Часто задаваемые вопросы
В: Может ли Copilot одновременно управлять несколькими дронами? О: В текущей версии каждая сессия может быть привязана только к одному дрону. Для работы с несколькими дронами создавайте отдельные сессии для каждого устройства.
В: Могу ли я вручную перехватить управление во время выполнения задачи Copilot? О: Да. Вы можете в любой момент остановить задачу с помощью кнопки аварийной остановки или вручную перехватить управление в виртуальной кабине. Copilot получит уведомление в диалоге.
В: Почему Copilot отклонил мою команду? О: Распространенные причины включают: Команда содержит несколько абсолютных точек PinPoint. Запрос включает операции вне возможностей Copilot (например, настройка параметров экспозиции). Описание цели слишком размытое или слишком специфическое. Copilot предоставляет конкретное объяснение причины отказа.
В: Что делать, если поиск VLM не находит точку PinPoint? О: Вы можете попробовать следующие действия: Уточнить метку обнаружения, сделать ее более конкретной; изменить область поиска; снизить высоту полета для лучшего угла обзора. Учтите, что эффективность VLM может быть ограничена для очень мелких объектов или узкоспециализированных целей.
В: Относительно чего задается высота полета? О: Все высоты в Copilot задаются относительно уровня земли (AGL). Система автоматически определяет высоту поверхности и рассчитывает абсолютную высоту. Вам не нужно выполнять дополнительные расчеты.
В: В командах что означает направление «вперед»?
О: В командах относительного перемещения «вперед/назад/влево/вправо» задаются относительно направления движения дрона, а не сторон света на карте (север, юг, восток, запад).