Сопоставление изображений разных сенсоров

Поиск исполнителей для разовых работ

Модератор: Admin

Правила форума
Раздел предназначен для размещения объявлений о поиске исполнителя (физического лица) на выполнение каких-либо разовых работ на коммерческой основе.

Объявления о поиске постоянных сотрудников следует размещать в разделе «Вакансии»

При создании темы просьба придерживаться следующих правил:
  • заголовок темы должен отражать суть работы, которую необходимо выполнить
  • если географическое местоположение исполнителя имеет значение, это следует отразить в заголовке (пример: "Необходимо разработать модель элерона, г.Москва")
  • тело сообщения должно содержать:
    - описание работы в общем
    - контактные данные заказчика

ОБЯЗАТЕЛЬНО оставляйте "внешние" контактные данные
  • Имя,
  • e-mail,
  • телефон/скайп для голосовой связи
Для профилактики атаки спамеров рекомендуется маскировать адреса электронной почты и телефоны (например, писать "собака" вместо "@", цифры прописью или вставлять адрес в виде изображения, см. сервис http://2ip.ru/spambot/)

  • Рекомендуется сразу указывать форму, порядок взаимодействия между заказчиком и исполнителем, бюджет и форму оплаты
  • Не допускается размещение заказов на выполнение курсовых, дипломов и прочих учебных задач.
  • Общение участников форума с заказчиком происходит посредством системы личных сообщений или через контакты, указанные в сообщении.
  • В случаях когда объявление становится неактуальным, автору рекомендуется самостоятельно закрыть тему через меню: "Опции темы" -> "Закрыть тему"
knoedel
Пользователь
Сообщения: 3
Зарегистрирован: Сб фев 24, 2018 10:01 am

Сопоставление изображений разных сенсоров

Сообщение knoedel » Сб фев 24, 2018 10:21 am

Нужно сопоставить изображения с разных сенсоров с разными разрешениями (RGB, термальные и мультиспектральные) для последующего анализа данных. Конкретно, нужно найти подходящий дескриптор который сможет найти совпадающие точки. Можно использовать встроенные решения MatLab, либо написать кастомный алгоритм. Для работы предоставляются наработки кода (результат не всегда удовлетворительный), тест сет, и куча англоязычной литературы по теме. Обьем работы 15-30ч макс. Достойная оплата. Важен конечный результат: сопоставление должной работать со всеми снимками в тест сете.

maria_kipke
Пользователь
Сообщения: 90
Зарегистрирован: Чт окт 05, 2017 4:37 pm

Re: Сопоставление изображений разных сенсоров

Сообщение maria_kipke » Пн фев 26, 2018 5:10 pm

Не корректная постановка задачи:

1. Изображение объекта в различных диапазонах могут не совпадать по форме (градиент яркостей изображения по отношению к фону и к деталям самого объекта). Яркий пример - изображение лампочки накаливания в различных диапазонах. Любой сет изображений будет частным набором, не отражающим действительность. То есть, совмещать нужно либо некие реперные точки, имеющие заведомо известный константный атрибут в конкретном диапазоне (яркость, контрастность, форма, сочетание признаков различных диапазонов), либо сами изображения (при условии заранее откалиброванной оптической системы), а вы пытаетесь поставить задачу использования этих данных, еще их не имея.

2. Для совмещения изображений поля зрения камер должны быть согласованы, оптические оси располагаться параллельно, дисторсия - быть скомпенсированной.
При соблюдении данного правила, изображения просто накладываются друг на друга с учетом паралакса. В противном случае, совместив по тем или иным соображениям точку "А", вы никогда не совместите одновременно точки "Б" и "В", и тем более, не докажете принадлежность той или иной точки пространства, точке изображения.

knoedel
Пользователь
Сообщения: 3
Зарегистрирован: Сб фев 24, 2018 10:01 am

Re: Сопоставление изображений разных сенсоров

Сообщение knoedel » Ср фев 28, 2018 2:18 pm

Я тоже уже начал сомневаться в решаемости задачи.. Не находит достаточно совпадений, либо они неравномерно распределены, как тут. Получается что точки ближе к верхним углам не совпадают. Это пока моя лучшая попытка в данном сете, с другими изображениями все хуже.

Изображение
Изображение

maria_kipke
Пользователь
Сообщения: 90
Зарегистрирован: Чт окт 05, 2017 4:37 pm

Re: Сопоставление изображений разных сенсоров

Сообщение maria_kipke » Чт мар 01, 2018 10:58 am

Правильно, это и есть несогласованность полей зрения.
Не находит достаточно совпадений
- а чего ищете? Еще раз повторюсь, искать можно объект с заведомо известными характеристиками, у которого можно зафиксировать конкретную точку - маркер. А так, чего сравниваем? Градиенты яркостей, контрастностей - они даже в цветовых составляющих видимого диапазона разные. Форма - так из-за рассогласованности полей зрения (и, в меньшей степени, дисторсии) хоть заинтерполируйтесь - будет разная, да еще различие детализации в различных диапазонах.
Почитайте, хотя бы, про калибровку камер систем улучшенного зрения! Про компенсацию дисторсии. Люди патенты получают на стенды для этого дела. И все, только для того, чтобы иметь возможность сложить две картинки.
В любом случае, в задачах получения изображений с нескольких различных датчиков, речь идет не об отдельных датчиках раскиданных кое как, а о системе датчиков, с известными параметрами (геометрия системы в том числе, причем, наблюдаемый объект в нее входит)!

maria_kipke
Пользователь
Сообщения: 90
Зарегистрирован: Чт окт 05, 2017 4:37 pm

Re: Сопоставление изображений разных сенсоров

Сообщение maria_kipke » Чт мар 01, 2018 11:12 am

Получается что точки ближе к верхним углам не совпадают
- это и есть иллюстрация несовпадения полей зрения. Плюс, чем дальше от оптической оси системы находится объект, тем сильнее искажения (дисторсия), а они индивидуальны для каждого объектива.

knoedel
Пользователь
Сообщения: 3
Зарегистрирован: Сб фев 24, 2018 10:01 am

Re: Сопоставление изображений разных сенсоров

Сообщение knoedel » Чт мар 01, 2018 12:19 pm

Спасибо за ответ!
Разумеется, сопоставить нужно только там где поле зрение сенсоров совпадает.
Систему уже откалибрировал, внутренние и внешние параметры всех сенсоров известны. Дисторсию можно скорректировать, я это упустил. А вот какая польза будет от геометрии системы, мне не понятно... это ведь не плоская сцена. С помощью геометрии пробовал рассчитать Матрицу Гомографии, и использовать её для сопоставления, но все равно результат нужно корректировать в ручную, любо алгоритмом. Алгоритм ищет особые точки и дескрипторы. Я уже испытывал встроенные в MatLab SURF, MSER и BRISK. Для поиска совпадений и трансформации на основе RANSAC тоже использую встроенные функции. Сейчас перешел на дескрипторы из стороннего tool-box VLFeat, результаты чуть лучше. Но в каждом случае проблема схожая: трансформация рассчитывается только из точек в нижнем левом квадранте изображения, так как там больше всего совпадений.

maria_kipke
Пользователь
Сообщения: 90
Зарегистрирован: Чт окт 05, 2017 4:37 pm

Re: Сопоставление изображений разных сенсоров

Сообщение maria_kipke » Пт мар 02, 2018 10:56 am

А вот какая польза будет от геометрии системы, мне не понятно... это ведь не плоская сцена.
- в смысле? Вам непонятна разница между проекциями объемной сцены на две различные плоскости? И как, скажите пожалуйста, вы будете калибровать датчики? Параметры уравнения, описывающие дисторсионные искажения в плоскости изображения, различны для различных фокусных расстояний. Оптическая ось (не путайте с геометрическим центром кадра) каждого датчика, также может описывать загадочную траекторию относительно центра изображения при изменении фокусного расстояния.
Таким образом, если мы хотим совместить несколько изображений одного объекта, полученных с различных датчиков, нам должно быть известно расстояние от объекта до каждого датчика (условно известно), т.к. коррекция искажений вносимых оптикой и геометрией системы справедливы для конкретного фокусного расстояния.