Исследователи научили нейросеть распознавать зеркала на фотографиях

Сотрудникам Городского университета Гонконга Китая удалось научить нейросеть распознавать зеркала на снимках. Эксперименты показали, что нейросеть самостоятельно выделяет зеркала на фото лучше других алгоритмов для этой цели.

Китайские разработчики разработали алгоритм, который состоит из двух основных частей, передает портал N+1. Изначально изображение подается на сверхточную нейросеть для выделения признаков операции, при которой алгоритм отсекает лишние данные из изображения и оставляет на нем ключевые данные, например линии. Благодаря этому изображение уменьшается в размере и становится более простым для анализа, но информация об объектах на нем не теряется.

Затем обработанное изображение подается на другую нейросеть, которая занимается анализом контраста на снимке, а также смысловым изучением областей изображения. Определяя границу между областями, где эти параметры сильно различаются между собой, алгоритм определяет положение зеркала и выделяет его на кадре.

С целью обучения нейросети данной функции разработчики вручную собрали датасет, состоящий из 4 018 пар снимков помещений с зеркалами, по принципу — исходный снимок и снимок с выделенным зеркалом. 3 063 пар изображений были отобраны для обучения, а оставшиеся 955 использовались для проверки обученного алгоритма.

Сравнение с другими алгоритмами на этом датасете показало, что новый алгоритм работает гораздо стабильнее, выделяя зеркала практически так же, как они располагались в реальности, уточнили авторы разработки.