Эквидистантная панорама DJI Mini 2. Воплощение.

Эквидистантная (сферическая панорама 360°) панорама. И ма-а-аленький дрон — всего 250 гр. Как сделать?

Сейчас июнь 2021 года. С момента выпуска DJI Mini 2 прошло около 8 месяцев. По сравнению с версией 1 (Mavic Mini) в этом дроне имеется возможность снять сферическую панораму «из коробки». Руками -на Mavic Mini — тоже можно, но это сложнее и требует некоторых навыков — держать перекрытие снимков не менее 20%, не пропустить кадр, не сбить ось вращения и еще несколько моментов. Самая частая проблема — пропуск кадра. В этом случае, съемка отправляется в корзину в 90% случаев. Однако, нижеприведенные рекомендации справедливы и для младшего брата рассматриваемого здесь аппарата (если все таки рискнули снимать вручную). Mini 2 умеет снимать панораму в 26 кадров — по 5 кадров по вертикали, потом поворот и снова 6 кадров. Пять вертикальных столбцов + один кадр надира. Дрон обучен немного поднимать камеру выше горизонта при съемке панорамы (также, это можно разрешить в меню для обычной съемки). При этом в кадр могут попасть винты, но в данном случае это не представляет проблему.

Вот такой результат должен будет получится в конце мучений:-)

Не будем останавливаться на самом моменте начала съемки панорамы — добраться до этого пункта меню не сложно. А настройки рассмотрим подробнее.

• Снимайте в DNG! Если уж дрон это умеет, то отказываться вовсе не стоит! К тому же, съемка ведется как в формате jpg, так и в DNG (размер jpg файлов на карточке в данном случае — 2000х1500 — обращайте на это внимание! Но DNG — полноразмерные 4000х3000).
• Снимать лучше всего в ручном режиме. В автомате — можно. Но если результат будет желание показать на большом экране и вообще гордиться им, то — лучше в ручном. В данном случае именно пилот будет контролировать процесс съемки. Автоматика может ошибиться. Пилот — тоже, но в этом случае вы точно будете знать, где «косяк»:-)
• В ручном режиме стоит обратить внимание на выдержку и экспозицию. В прошлых версиях DJI Fly изменение этих параметров было организовано значительно более удобно, чем в 1.4 — в iOS «барабанами». Теперь необходимо двигать ползунки, да еще и «не из под руки», — не удобно, короче. Но — таков путь китайских дроностроителей. Выдержку ставьте визуально, полагаясь на встроенный «экспонометр». Также и экспозицию. В пасмурный день это не так важно. Или — если солнце в зените. А вот в случае, когда часть кадров будут приходиться непосредственно против солнца, это необходимо. Я знаком с мнением, что: «Аппарат все сделает сам! И если автомат ошибется с параметрами, то программы потом отлично все поправят!». Я не согласен с такой точкой зрения. Дело в том, что автомат выберет усредненную светлую точку кадра. При направлении практически на солнце, это может быть точка средней яркости, но все равно слишком яркая для того, чтобы объекты, которые попадают в этом случае в область теней были хоть как-то прорисованы. А уж массу цифрового шума они получат точно. При сборке в сферу специализированные программы будут пытаться (да и при «проявке» сделанных кадров вручную на предыдущем этапе) вытянуть тени, добавляя в них еще больше шумов, неорганично высветляя и так далее. Поэтому лучше всего выставить экспозицию по некоторому среднему кадру, который вы выберете сами. Выбираем направление прямо на солнце, поворачиваем дрон на 90° по горизонтали, немного опускаем камеру и выставляем экспозицию в «0» (используя встроенный экспонометр — если засвет экрана телефона не дает точно определиться. Если это возможно — визуально). Таким образом мы получим примерно одинаково проэкспонированные кадры, которые привести к одному знаменателю в редакторе будет уже проще. Какие-то будут казаться пересвеченными, какие-то — недосвеченными, но это возможно исправить. Тем более, мы снимаем в DNG (хотя, он откровенно слабый, скорее для галочки — но он тем не менее есть)!
• Запускаем съемку. Примерно 1 — 1,5 минуты дрон будет крутиться вокруг оси, а вы — нервничать на счет того, «как он там»:)

Настроили дрон, заставили его снять 360°. Теперь о том, что произойдет дальше. По идее, DJI Fly умеет сшить панораму самостоятельно, прямо в программе в телефоне. Для того, чтобы посмотреть, что получилось именно эквидистантное изображение, качества достаточно. Но оно не приемлемо даже для Facebook (только если скинуть его в формате little planet, где и так ничего не видно). Обязательно забирайте фото с карты памяти!

Программы для обработки фото для панорамы.

• Photoshop (или любой редактор фото, которым пользуетесь). Может и не пригодиться — если все соберется хорошо:-)
• Lightroom — в данном случае пользоваться будем им (есть уникальные люди, которые обрабатывают панорамы в телефоне, в телефонном Lightroom — это подвиг, конечно, но оценить его сложно).
• Microsoft ICE. Бесплатная программа, которая не плохо, как оказалось, работает с эквидистантными панорамами снятыми на Mini 2. Есть некоторая хитрость (вот тут и пригодится Photoshop или что-то подобное) — пара дополнительных, не сложных в принципе, действий. Но, как в любой простой в использовании программе, результат может отличаться от идеального. Это можно исправить (и еще раз нужно будет обратиться к Photoshop)
• PtGui 11 версии. Есть версия 10.0.7 — это максимальная версия, которая доступна для ознакомления на некоторых сайтах. У меня лицензионная 11.3. Есть уже 12, но она как-то мне не зашла (ниже поясню, по какой причине). Пояснения пойдут по 10.0.7, — в 11 и старше все аналогично (в прочем, если они у вас есть — пояснять ничего уже не надо :-)).
• Autopano Giga. Программа более не поддерживается разработчиком (Компанию купили GoPro и… похерили. А жаль очень — хорошая была штука). Однако, есть рабочие версии. Все просто, удобно, но немного долго.
• Exif Fixer. Бесплатная программа, написанная энтузиастом. Поможет прописать в панораму EXIF данные, которые могут потребоваться для того, чтобы панораму воспринимали именно как 360° сторонние приложения типа Facebook.
• FSPViewer. Также бесплатна. Удобна для просмотра готовой панорамы и промежуточных результатов.
• Topaz Gigapixel AI. Может пригодится для увеличения сущего — то есть для создания более резких вариантов панорамы или панорамы большего разрешения. Трудно представить, для чего второе может пригодится (Google Maps или Яндекс принимают только панорамы, ограниченны по размерам), но вот первое — не исключено.

Я буду рассматривать панораму, снятую в мае 2021 года в Протвино, на Рубеже Обороны Москвы. Погодные условия были не очень хорошими, — переменная облачность с довольно сильным ветром, — как раз для того, чтобы проверить возможности Mini 2 — были и сильно затененные участки, и участки сильно освещенные, которые приходились на отдельные фото. В данном случае, если не брать во внимание условия для идеальной съемки — солнечный, яркий день, солнце — над коптером,- будем рассматривать основные принципы сборки панорамы.

Начнем с обработки. Lightroom 2019 использовался в данном случае. Настройки — примерно такие:

Теперь — к программам для склейки.

Microsoft ICE, самый простой вариант. Ничего особо настраивать не придется. Сохраненные фото из Lightroom перетаскиваем в окно ICE. Я, ради эксперимента, сохранил конвертированные и обработанные изображения в формате tiff. Так стоит делать, если это какая-то ответственная съемка или у вас мощный компьютер со свободным жестким диском. Дело в том, что при конвертации в jpg теряется информация о цвете и в результате после нескольких преобразований мы можем получить небо с серьезными артефактами в цветах и градиентных переходах. Если же панорама не предполагается для серьезной демонстрации, можно изначально обойтись jpg файлами.

Дальше — кнопка STITCH — в нашем случае можно оставить авто определение проекции — тут программа не ошибется и предложит именно сферическую:

На этом этапе особенно делать и нечего — просто можно посмотреть, как оно сшилось. Важный момент — на этом экране можно поправить горизонт передвигая изображение мышью по горизонтали или по вертикали. Когда достигнем наилучшего положения горизонта — переходим к следующему пункту — CROP.

В итоге получаем изображение размером 19968х7407. Это не правильная эквидистантная проекция. Не хватает 2577 пикселей по вертикали до справедливого соотношения 2:1. Но это не страшно, потом можно дорисовать. Главное, что выдано максимальное нативное разрешение для панорамы с Mini 2 по горизонтали. К сожалению, передвинуть границу кадра выше нет возможности. Так же не получается ввести необходимые значения вручную в поле слева. Но спасибо и на том, что уже сделано.

Идем дальше — IMPORT:

Выбрать можно качество файла — можно выставить и 100%, но в этом случае размер файла будет около 130 Мб, что избыточно. Остановиться на 90% будет разумнее. Формат можно выбрать любой удобный — jpg, tiff… Даже psd файл в качестве выходного поддерживается. Но это только если сшиваете что-то очень большое. В данном случае я выбираю tiff — работать до окончательного результата буду с ним.

Результат — файл tiff весом в 180 Мб — терпимо для достаточно мощной машины.

Программа сама расставила контрольные точки между снимками. Редактировать их или вообще как-то влиять на процесс сшивки нельзя. Обычно искусственному интеллекту удается все сделать хорошо, но бывают выкрутасы. В данном случае — такой один есть, как правило — на линии горизонта:

Исправить такое — очень просто. На примере Фотшопа: Создаем копию слоя, выделаем Лассо треугольник по высоте что-то около 50 длин засечки с вершиной на линии горизонта и основание в 10-15 длин засечки (примерно — больше не надо, тем более, если есть облака, которые можно задеть). Нажимает Ctrl+T (Трансформирование — Масштабирование), сдвигаем мишень в остроугольную вершину треугольника и двигаем выделенную область так, чтобы края горизонта совпали. При необходимости лишнее аккуратно подтираем Ластиком. Если все в порядке — Ctrl+E (объединить слои) — готово!

Теперь надо достроить небо. Мы имеем обкусанную панораму. Надо дорисовать холст до полноценных 2:1. Не хватает 2577 пикселей вверх. Идем в Изображение — Размер Холста и делаем так:

Готово! Мы получили здоровенную панораму, которая теперь имеет эквидистантную проекцию. Для того, чтобы посмотреть, что вышло, можно скачать небольшую программку FSPViewer — установить, просто перетащить панораму на ее значок, смотреть.

Однако, имеется проблема — небо! Здоровенная дыра:-( О том, как исправить положение уже идеально написали на 1panorama.ru — с шаблонами погоды. Также небы можно найти по запросу типа такого: «HDRI sky» или нечто подобное.

Итого по MS ICE:

ПЛЮСЫ: бесплатна, неплохо собирает панораму

МИНУСЫ: необходимо достраивать до полной сферы, нет возможности контролировать процесс склейки, если есть засечки, — исправить только в редакторе, нет версии для MAC

Autopano Giga На сайте программы уже имеем заглушку:( Есть страница с версиями последними для загрузки — аж в 2019 году вышло последнее обновление и при запросе в Google первая страница состоит полностью из ссылок на торренты (что, в сущности, нам и надо)… Но актуальна вполне! Будем ковырять версию 4.4.

После запуска программы просто перетаскиваем все 26 файлов в окно программы и нажимаем кнопку Создать — больше ничего пока не надо.

После того, как обработка завершена получаем такую картину в новом (!) окне:

Как правило, Autopano отлично понимает количество и перекрытие файлов от Mini 2 и шьется все достаточно не плохо. Однако, несть необходимость кое что подправить руками. Все иконки в меню имеют подсказки при наведении. Посмотрим, что надо будет сделать.

Кнопка Полная Сфера поможет достроить панораму до необходимого соотношения. Обязательно после надо нажать на зеленую галочку, иначе изменения не будут применены и сохранены. Теперь имеем сферу полного размера, но все равно без неба. Как его позже добавить написано выше.

Могут все же иметься засечки некоторые — алгоритмы используются в Autopano интересные (как минимум — алгоритмы маскирования). Как их исправить?

Зеленые маркеры соединений — терпимо. А вот оранжевый — не очень хорошо. Щелкаем в произвольном месте панорамы — в выпадающем меню выбираем верхнюю строчку Optimize viewpoint of all images. В панели слева появится красная точка на иконке в пункте Optimize и надпись needed. Нажимаем на иконку — какое-то время программа будет думать, а потом выдаст обновленный результат — цифра RMS заметно изменилась. Можно еще улучшить полученные значения, удалив вручную плохие КТ. Идем во вкладку Редактор Контрольных Точек — в верхней части таблицы слева с зажатым Shift выбираем все картинки — в нижней части выбираем вкладку Контрольные Точки и выставляем колонку RMS по возрастанию (или убыванию, кому как нравится) — с зажатым Shift выбираем все, что больше, допустим, 2,5 — удаляем — переходим в окно программы Group (основное — в нем связи между кадрами подсветились голубым) — снова оптимизируем панораму.

Это действие можно проделать пару раз — пока значение RMS не приблизится к чему-то похожему на 1,5. «0» — никогда не будет — это идеальная ситуация, когда КТ нет вовсе:)

Если какая-то фотография все таки выдает с соседями засечку, можно добавить КТ в проблемную область руками — в режиме редактирования КТ с зажатым Ctrl и зажатой кнопкой мыши обозначить эту область — в ней появятся КТ, которые после этого надо будет оптимизировать и удалить лишние. Но, как правило, в автоматически снятых дроном панорамах с воздуха в этом не возникает необходимости.

После оптимизации может потребоваться подровнять горизонт. Есть ручной инструмент или автоматический. Автоматический — линии горизонта на иконке — 11 слева (Автоматический Горизонт) работает в данном случае не очень хорошо. Лучше поправить панораму руками — 14 иконка слева — Режим Передвижения Изображений. Двигать можно вверх/вниз, влево/вправо. Если что — есть кнопка отмены действия — вторая слева на панели (Ctrl+Z в Win).

Вроде бы — все:) Можно собирать панораму. Программа подходит к вопросу ответственно — собирает при качестве 12 относительно долго.

Часто бывает так, что если зайти и выйти, то процесс пойдет совсем иначе — то, что собиралось в кашу или разлеталось на куски при сборке, складывается идеально или почти идеально. Особенно это касается следующего героя — PtGui.

ИТОГО по Color Autopano Giga 4.4

ПЛЮСЫ: Практически идеальный результат, много настроек, можно контролировать процесс, вывод сразу в максимальном разрешении

МИНУСЫ: Больше не поддерживается, платная, много настроек лишних для обычного пользователя, сравнительно медлительная

PtGui Будем рассматривать версию 10.0.7 — более старших для ознакомления не найти. Все, что есть в Сети версией выше — фейк:( Программа прилично платная, но если панорамами занимаетесь серьезно, то этот текст вы и не читаете то оно того стоит. С версией 12 у меня как-то не сложилось — она по какой-то не известной мне причине выдает результат худший по резкости, нежели 11. Почему так происходит — не знаю, вопросы на форумах не нашли ответа — или у других все хорошо, или просто забили, не заметили. Короче говоря — смотрим на версию 10.

Программа сразу открывает пару окон (мне не кажется это сильно удобным, но — как есть).

Также закидываем в основное окно наши файлы. 10-ка верно определяет параметры объектива (не смотря на то, как давно она выпущена).

Нажимаем Align Images — полученный результат откроется в новом окне Панорамного Редактора (Panorama Editor).

Оптимизация изображений — на мой взгляд, одна из самых интересных функций PtGui. Для панорам с воздуха, в частности с Mini 2 она не так важна, иногда, вредна даже. Но для сборки панорам с земли — незаменима!

Возвращаемся в главное окно, вкладка Optimizer. Нажимаем кнопку Advanced, видим вот такое:

Для того, чтобы получить наилучший результат, немного попинаем программу. В самой верхней строке — пункт Меню Control Points. Самая нижняя строчка в появившемся списке — Delete Worst Control Points (или Ctrl+Shift+W). Вероятнее всего, в первом проходе самоуверенная программа не найдет автоматически наихудшие КТ. Надо помочь!

В этом же пункте меню выбираем Generate Control Points (Ctrl+Shift+G) и ждем. Программа добавляет еще КТ на все изображения панорамы. Их теперь надо прорядить — повторяем удаление наихудших КТ. Результат, как ни странно, стал даже немного хуже — 10!

Выкатываем тяжелую артиллерию:

Повторяем пункт действий с удалением наихудших КТ — тут программа может серьезно поразмыслить — времени процесс может занять больше, чем просто создание точек. Полученный результат должен порадовать! Число, по идее, должно уменьшится примерно в два раза. Точно не увеличится. Снова — Run Optimizer. После этого можно прогнать процесс еще разок. И еще — пока не надоест или пока программа больше не найдет ничего криминального. Я получил значение 5,2. Не плохо для панорамы с воздуха. Но все равно не нравится. Есть такой значок — четвертый справа — сетка зеленая. Control Point Table.

КТ расставлены, RMS — приличный. Но панорама несколько перекосилась (скорее всего, так и будет с любой другой) относительно того, что мы видели ранее. Теперь ее надо выставить по горизонту. В окне Panorama Editor выбираем четвертую слева иконку — на ней крестик — Set Center Point. И аккуратно перемещая прицел выставляем панораму ровно. Это довольно вариативный процесс — тыкать, возможно, придется несколько раз. Промахнулись — Ctrl+Z (Win). Таким же образом панораму можно ориентировать к Северу (или куда хотите).

Панорама в Редакторе (Panorama Editor) в результате смотрится правильно и ровно. Необходимо ее сохранить.

По умолчанию PtGui предлагает сохранить панораму с размером 18864х9432. Нормально! Но, по идее, разрешение максимальное для нашего случая — Mini 2 — 19000×9500. Тут — как хотите. Пункт Quality — черт его знает, для чего нужен. Всегда стоит 95% качества. Можно поднять до 100% — серьезной разницы я не замечал. Возможно, это меняется где-то в настройках, но лезть было лень:) Можно ничего не менять — все будет и так хорошо.

PtGui — умный. По умолчанию он понимает проекцию даже без отсутствующих фото неба и делает ее сразу 2х1. Если же нет — в окне Panorama Editor есть иконка с шариком, зеленая — там можно менять проекцию на необходимую. В том числе и на любимую многими little planet.

Если по какой-то причине у вас пропало окно Panorama Editor, восстановить его можно, зайдя в основном окне в меню Tools — Panorama Editor (Ctrl+E).

ИТОГО по PTGui

ПЛЮСЫ: Мощнейший инструмент, профессиональный. Умеет по мимо всего вышеперечисленного еще массу всего, есть очень тонкие настройки, в т.ч. КТ — по одной и так далее, быстро работает, есть ознакомительная версия со смайликами или недельная, — не помню точно

МИНУСЫ: сильно платная, если полезть в некоторые настройки, можно рехнуться, не все варианты действий очевидны, выбор автоматического добавления КТ по месту не совсем четко организован

И немного о программах, которые были упомянуты в начале.

Exif Fixer — бесплатная весьма полезная программа для внесения метаданных (подсказка стороннему приложению — это именно панорама , ее не надо показывать в качестве плоской картинки!). Просто перетащите панораму в окно программы, потом пересохраните и метаданные будут прописаны. Настройки очевидные и простые. Например, Facebook, после некоторых манипуляций в редакторах не может найти метаинформацию и не понимает, что ему подсовывают. После Exif Fixer он сдается!

Дополнение — у программы есть онлайн версия, что занимательно https://exiffixer.com/online.htm Таким образом, при быстром соединении ничего и устанавливать не надо.

FSPViewer — программа для просмотра предварительного результата и вообще просмотра панорам. Бесплатная. В использовании — очень проста — кинули панораму в окно программы и смотрим. Может быть прикручена к PtGui в качестве альтернативного просмотрщика.

Vrap — очень простой и полезный плеер панорам. Поддерживает загрузку и просмотр нескольких панорам одновременно в одном окне. Минус единственный, ИМХО — нет возможности перетащить панораму просто на значок программы, как в FSPViewer.

Topaz Gigapixel AI — для энтузиастов. Если есть желание повысить резкость (у меня всегда возникает) — можно попробовать сделать это при помощи этой штуки. Работает долго, результат — сомнительный (в той версии программы, которую я пробовал. Новые, говорят, ошеломляют). Но — все таки. Все довольно просто — загоняем исходные 26 картинок в программу и пакетно обрабатываем. У меня на i7+32+1660 работала около часа с tiff. Получается очень не слабого разрешения картинка, которую если уменьшить, — шума все таки становится меньше и появляется дополнительная четкость. Но, поскольку взять информацию особо не от куда — что снято — то снято, — на любителя.

Резюмируя — собрать панораму из фото, которые делает DJI Mini 2 — легкое и увлекательное занятие:-) Можно получить результат сразу в DJI Fly, но это маленькая картинка, в которой небо просто залито градиентом. Для более внятной демонстрации своего труда и таланта, лучше все же приложить усилия:-)

Ссылка на оригиналы в DNG, которые обрабатывались в этом примере — https://dubox.com/s/10_DkdOS4cg87QdvX77YCUg Password:ycid (600 Мб).

Ссылка на то, что в результате получилось на Яндекс — Яндекс Карты

Удачи!

PS — если есть не точность или дополнение- почта или комментарии — wellcome!