Планограмма выкладки товара пример фото: Как составить планограмму выкладки товаров

Планограмма состоит из, по меньшей мере, одного изображения места отображения продукта, связанного с местом отображения продукта устройства отображения продукта.

СПОСОБ АВТОМАТИЧЕСКОГО ИЗВЛЕЧЕНИЯ ПЛАНОГРАММЫ ИЗ ИЗОБРАЖЕНИЙ СТЕЛЛАЖА

планограмма извлечение на основе обработки изображения

планограмма — Испанский перевод — Linguee

Сшивание панорамы OpenCV — PyImageSearch

В сегодняшнем сообщении блога я продемонстрирую, как выполнить сшивание изображений и построить панораму с использованием Python и OpenCV.Получив два изображения, мы «сшиваем» их вместе, чтобы создать простую панораму, как показано в примере выше.

Чтобы построить нашу панораму изображения, мы будем использовать методы компьютерного зрения и обработки изображений, такие как: обнаружение ключевых точек и локальные инвариантные дескрипторы; сопоставление ключевых точек; RANSAC; и искривление перспективы.

Поскольку существует основных различий в том, как OpenCV 2.4.X и OpenCV 3.X обрабатывают обнаружение ключевых точек и локальные инвариантные дескрипторы (такие как SIFT и SURF), я позаботился о предоставлении кода, совместимого с обе версии (при условии, что вы скомпилировали OpenCV 3 с поддержкой opencv_contrib , конечно).

В будущих сообщениях блога мы расширим наш код сшивания панорамы для работы с несколькими изображениями, а не только с двумя.

Прочтите, чтобы узнать, как выполняется сшивание панорамы с помощью OpenCV.

Сшивание панорамы OpenCV

Наш алгоритм создания панорамы состоит из четырех шагов:

• Шаг № 1: Обнаружение ключевых точек (DoG, Harris и т. Д.) И извлечение локальных инвариантных дескрипторов (SIFT, SURF и т. Д.) Из двух входных изображений.
• Шаг № 2: Сопоставьте дескрипторы между двумя изображениями.
• Шаг № 3: Используйте алгоритм RANSAC для оценки матрицы гомографии с использованием наших согласованных векторов признаков.
• Шаг № 4: Примените преобразование деформации, используя матрицу гомографии, полученную на этапе Шаг № 3 .

Мы инкапсулируем все четыре шага в Panorama.py , где мы определим класс Stitcher , используемый для создания наших панорам.

Класс Stitcher будет полагаться на пакет imutils Python, поэтому, если он еще не установлен в вашей системе, вы захотите продолжить и сделать это сейчас:

$ pip install imutils
 

Давайте продолжим и начнем с просмотра панорамы.py :

# импортируем необходимые пакеты
импортировать numpy как np
импорт imutils
импорт cv2

класс Stitcher:
def __init __ (сам):
# определяем, используем ли мы OpenCV v3.X
self.isv3 = imutils.is_cv3 (or_better = True)
 

Мы начинаем с строк 2-4 , импортируя наши необходимые пакеты. Мы будем использовать NumPy для операций с матрицами / массивами, imutils, для набора удобных методов OpenCV и, наконец, cv2 для наших привязок OpenCV.

Отсюда мы определяем класс Stitcher в строке Line 6 . Конструктор Stitcher просто проверяет, какую версию OpenCV мы используем, вызывая метод is_cv3 . Поскольку существуют существенные различия в том, как OpenCV 2.4 и OpenCV 3 обрабатывают обнаружение ключевых точек и локальные инвариантные дескрипторы, важно, чтобы мы определяли версию OpenCV, которую мы используем.

Теперь давайте начнем работать по методу стежка :

def stitch (self, images, ratio = 0.75, reprojThresh = 4.0,
showMatches = False):
# распаковать изображения, затем определить ключевые точки и извлечь
# локальных инвариантных дескриптора из них
(imageB, imageA) = изображения
(kpsA, featuresA) = self.detectAndDescribe (imageA)
(kpsB, featuresB) = self.detectAndDescribe (imageB)

# совпадение характеристик между двумя изображениями
M = self.matchKeypoints (kpsA, kpsB,
featuresA, featuresB, ratio, reprojThresh)

# если совпадений нет, то совпадений недостаточно
# ключевые точки для создания панорамы
если M равно None:
return None
 

Метод stitch требует только одного параметра, изображений , который представляет собой список (двух) изображений, которые мы собираемся сшить вместе, чтобы сформировать панораму.

Мы также можем дополнительно предоставить соотношение , используемое для теста отношения Дэвида Лоу при сопоставлении функций (подробнее об этом тесте соотношения позже в руководстве), reprojThresh , который представляет собой максимальное «пространство для маневра» пикселя, разрешенное алгоритмом RANSAC, и наконец, showMatches , логическое значение, используемое для указания, должны ли совпадения ключевых точек визуализироваться или нет.

Строка 15 распаковывает список изображений (который, опять же, мы предполагаем, что он содержит только два изображения).Порядок в списке изображений важен: мы ожидаем, что изображения будут поставляться в порядке слева направо . Если изображения , а не , поставляются в этом порядке, наш код все равно будет работать, но наша выходная панорама будет содержать только одно изображение, а не оба.

После того, как мы распаковали список изображений , мы вызываем метод detectAndDescribe в строках 16 и 17 . Этот метод просто обнаруживает ключевые точки и извлекает локальные инвариантные дескрипторы (т.е.е., SIFT) из двух изображений.

Учитывая ключевые точки и функции, мы используем matchKeypoints ( строк 20 и 21 ), чтобы сопоставить функции на двух изображениях. Мы определим этот метод позже на уроке.

Если возвращенные совпадения M равны Нет , то было сопоставлено недостаточно ключевых точек для создания панорамы, поэтому мы просто возвращаемся к вызывающей функции ( строки 25 и 26 ).

В противном случае мы готовы применить перспективное преобразование:

# в противном случае примените перспективную деформацию для сшивания изображений
# все вместе
(совпадения, H, статус) = M
результат = cv2.warpPerspective (imageA, H,
(imageA.shape [1] + imageB.shape [1], imageA.shape [0]))
результат [0: imageB.shape [0], 0: imageB.shape [1]] = imageB

# проверить, должны ли быть визуализированы совпадения ключевых точек
если showMatches:
vis = self.drawMatches (imageA, imageB, kpsA, kpsB, совпадения,
положение дел)

# вернуть кортеж сшитого изображения и
# визуализация
return (результат, vis)

# возвращаем сшитое изображение
вернуть результат
 

При условии, что M не None , мы распаковываем кортеж в Строке 30 , давая нам список ключевых точек , соответствующих , матрицу гомографии H , полученную из алгоритма RANSAC, и, наконец, статус , список индексов, указывающих, какие ключевые точки в совпадают с были успешно пространственно проверены с помощью RANSAC.

Учитывая нашу матрицу гомографии H , теперь мы готовы сшить два изображения вместе. Сначала мы вызываем cv2.warpPerspective , для которого требуются три аргумента: изображение, которое мы хотим деформировать (в данном случае, правое изображение ), матрица преобразования 3 x 3 ( H ) и наконец, форма выходного изображения. Мы получаем форму из выходного изображения, суммируя ширину обоих изображений, а затем используя высоту второго изображения.

Строка 30 проверяет, должны ли мы визуализировать совпадения ключевых точек, и если да, то вызываем drawMatches и возвращаем кортеж панорамы и визуализации вызывающему методу ( Строки 37-42 ).

В противном случае мы просто вернули сшитое изображение (, строка 45, ).

Теперь, когда определен метод stitch , давайте рассмотрим некоторые вызываемые им вспомогательные методы. Начнем с detectAndDescribe :

def detectAndDescribe (себя, изображение):
# преобразовать изображение в оттенки серого
серый = cv2.cvtColor (изображение, cv2.COLOR_BGR2GRAY)

# проверяем, используем ли мы OpenCV 3.X
если self.isv3:
# обнаруживать и извлекать особенности изображения
дескриптор = cv2.xfeatures2d.SIFT_create ()
(kps, features) = descriptor.detectAndCompute (изображение, Нет)

# в противном случае мы используем OpenCV 2.4.X
еще:
# обнаруживаем ключевые точки на изображении
детектор = cv2.FeatureDetector_create ("SIFT")
kps = Detect.detect (серый)

# извлекать особенности из изображения
экстрактор = cv2.DescriptorExtractor_create ("SIFT")
(kps, features) = extractor.compute (серый, kps)

# преобразовываем ключевые точки из объектов KeyPoint в NumPy
# массивов
kps = np.float32 ([kp.pt для kp в kps])

# возвращаем кортеж ключевых точек и функций
возврат (км / с, характеристики)
 

Как следует из названия, метод detectAndDescribe принимает изображение, затем обнаруживает ключевые точки и извлекает локальные инвариантные дескрипторы. В нашей реализации мы используем детектор ключевых точек Различия Гаусса (DoG) и экстрактор признаков SIFT.

В строке 52 мы проверяем, используем ли мы OpenCV 3.X. Если да, то мы используем функцию cv2.xfeatures2d.SIFT_create для создания экземпляров как нашего детектора ключевых точек DoG, так и экстрактора функций SIFT. Вызов detectAndCompute обрабатывает извлечение ключевых точек и функций (, строки 54 и 55, ).

Важно отметить, что вы должны скомпилировать OpenCV 3.X с включенной поддержкой opencv_contrib. В противном случае вы получите сообщение об ошибке, например AttributeError: объект 'module' не имеет атрибута 'xfeatures2d' .Если это так, перейдите на мою страницу руководств по OpenCV 3, где я подробно расскажу, как установить OpenCV 3 с поддержкой opencv_contrib , включенной для различных операционных систем и версий Python.

Строки 58-65 обрабатывают, если мы используем OpenCV 2.4. Функция cv2.FeatureDetector_create создает экземпляр нашего детектора ключевых точек (DoG). Обращение к detect возвращает наш набор ключевых точек.

Оттуда нам нужно инициализировать cv2.DescriptorExtractor_create , используя ключевое слово SIFT , чтобы настроить нашу функцию SIFT экстрактор .Вызов метода compute экстрактора возвращает набор векторов признаков, которые количественно определяют область, окружающую каждую из обнаруженных ключевых точек на изображении.

Наконец, наши ключевые точки преобразуются из объектов KeyPoint в массив NumPy (, строка 69, ) и возвращаются вызывающему методу (, строка 72, ).

Теперь давайте посмотрим на метод matchKeypoints :

def matchKeypoints (self, kpsA, kpsB, featuresA, featuresB,
ratio, reprojThresh):
# вычисляем необработанные совпадения и инициализируем список фактических
# Матчи
совпадение = cv2.DescriptorMatcher_create ("BruteForce")
rawMatches = matcher.knnMatch (featuresA, featuresB, 2)
совпадения = []

# перебрать необработанные совпадения
для m в rawMatches:
# убедитесь, что расстояние находится в определенном соотношении между каждым
# другое (например, тест соотношения Лоу)
если len (m) == 2 и m [0] .distance 
 Функция  matchKeypoints  требует четырех аргументов: ключевых точек и векторов признаков, связанных с первым изображением, за которыми следуют ключевые точки и векторы признаков, связанные со вторым изображением.Также предоставляется тестовая переменная  Дэвида Лоу  и порог повторного проецирования RANSAC.
 На самом деле сопоставление функций - довольно простой процесс. Мы просто перебираем дескрипторы обоих изображений, вычисляем расстояния и находим наименьшее расстояние для каждой пары дескрипторов. Поскольку это очень распространенная практика в компьютерном зрении, OpenCV имеет встроенную функцию с именем  cv2.DescriptorMatcher_create , которая создает для нас сопоставление функций.Значение  BruteForce  указывает, что мы собираемся  исчерпывающе вычислить  евклидово расстояние между  всеми векторами признаков  из обоих изображений и найти пары дескрипторов, которые имеют наименьшее расстояние.
 Вызов  knnMatch  в строке 79   выполняет сопоставление k-NN между двумя наборами векторов признаков, используя  k = 2  (что указывает на то, что возвращаются два верхних совпадения для каждого вектора признаков).
 Причина, по которой мы хотим, чтобы два первых совпадения  , а не просто совпадение одного лучшего совпадения, заключалась в том, что нам нужно применить тест отношения Дэвида Лоу для исключения ложноположительных совпадений.
 Опять же,  Строка 79  вычисляет  rawMatches  для каждой пары дескрипторов, но есть вероятность, что некоторые из этих пар являются ложными срабатываниями, что означает, что участки изображения на самом деле не соответствуют действительности. В попытке отсечь эти ложноположительные совпадения мы можем перебрать каждый из  rawMatches  по отдельности (, строка 83, ) и применить тест отношения Лоу, который используется для определения качественных совпадений функций. Типичные значения коэффициента Лоу обычно находятся в диапазоне  [0.7, 0,8] .
 После того, как мы получили  совпадений  с помощью теста отношения Лоу, мы можем вычислить гомографию между двумя наборами ключевых точек:
# для вычисления гомографии требуется не менее 4 совпадений
если len (соответствует)> 4:
# построить два набора точек
ptsA = np.float32 ([kpsA [i] для (_, i) в совпадениях])
ptsB = np.float32 ([kpsB [i] для (i, _) в совпадениях])

# вычисляем гомографию между двумя наборами точек
(H, статус) = cv2.findHomography (ptsA, ptsB, cv2.RANSAC,
reprojThresh)

# возвращаем совпадения вместе с матрицей гомографии
# и статус каждой совпавшей точки
возврат (совпадения, H, статус)

# в противном случае нельзя было бы вычислить гомографию
return None
 
 Для вычисления гомографии между двумя наборами точек требуется  как минимум  для начального набора из четырех совпадений. Для более надежной оценки гомографии у нас должно быть значительно больше, чем четыре совпадающих точки.
 Наконец, последний метод в нашем методе  Stitcher ,  drawMatches , используется для визуализации соответствий ключевых точек между двумя изображениями:
def drawMatches (self, imageA, imageB, kpsA, kpsB, match, status):
# инициализировать изображение визуализации вывода
(hA, wA) = imageA.shape [: 2]
(hB, wB) = imageB.shape [: 2]
vis = np.zeros ((max (hA, hB), wA + wB, 3), dtype = "uint8")
vis [0: hA, 0: wA] = imageA
vis [0: hB, wA:] = imageB

# перебрать совпадения
for ((trainIdx, queryIdx), s) в zip (совпадения, статус):
# обрабатывать совпадение только в том случае, если ключевая точка была успешно
# соответствует
если s == 1:
# нарисуйте матч
ptA = (int (kpsA [queryIdx] [0]), int (kpsA [queryIdx] [1]))
ptB = (int (kpsB [trainIdx] [0]) + wA, int (kpsB [trainIdx] [1]))
cv2.строка (vis, ptA, ptB, (0, 255, 0), 1)

# вернуть визуализацию
вернуться в
 
 Этот метод требует, чтобы мы передали два исходных изображения, набор ключевых точек, связанных с каждым изображением, начальные совпадения после применения теста соотношения Лоу и, наконец, список  статуса , предоставленный вычислением гомографии. Используя эти переменные, мы можем визуализировать «входящие» ключевые точки, проведя прямую линию от ключевой точки  N  на первом изображении до ключевой точки  M  на втором изображении.
 Теперь, когда у нас определен класс  Stitcher , перейдем к созданию сценария драйвера  stitch.py ​​:
# импортируем необходимые пакеты
из pyimagesearch.panorama import Stitcher
import argparse
импорт imutils
импорт cv2

# создать аргумент, синтаксический анализ и анализ аргументов
ap = argparse.ArgumentParser ()
ap.add_argument ("- f", "--first", required = True,
help = "путь к первому изображению")
ap.add_argument ("- s", "--second", required = True,
help = "путь ко второму изображению")
args = vars (ap.parse_args ())
 
 Мы начинаем с импорта необходимых пакетов на  строках 2-5 . Обратите внимание, как мы поместили классы  Panorama.py  и  Stitcher  в модуль  pyimagesearch , чтобы наш код был аккуратным.
   Примечание:  Если вы подписаны на это сообщение и у вас возникли проблемы с организацией кода, обязательно загрузите исходный код, используя форму внизу этого сообщения. Файл .zip для загрузки кода будет запущен из коробки без ошибок.
 Отсюда  Строки 8-14  анализируют наши аргументы командной строки:  - первое , которое является путем к первому изображению в нашей панораме ( крайнее левое изображение ), и  - второе , путь ко второму изображению на панораме (крайнее правое изображение  ).
  Помните, что эти пути изображения должны быть указаны в порядке  слева направо ! 
 Остальная часть скрипта драйвера  stitch.py ​​ просто обрабатывает загрузку наших изображений, изменение их размера (чтобы они соответствовали нашему экрану) и построение нашей панорамы:
# загружаем два изображения и изменяем их размер до 400 пикселей в ширину
# (для более быстрой обработки)
imageA = cv2.imread (args ["первый"])
imageB = cv2.imread (args ["второй"])
imageA = imutils.resize (imageA, ширина = 400)
imageB = imutils.resize (imageB, ширина = 400)

# сшиваем изображения вместе, чтобы создать панораму
stitcher = брошюровщик ()
(результат, vis) = stitcher.stitch ([imageA, imageB], showMatches = True)

# показать изображения
cv2.imshow («Изображение A», изображениеA)
cv2.imshow ("Изображение B", изображениеB)
cv2.imshow ("Ключевые точки совпадений", vis)
cv2.imshow («Результат», результат)
cv2.waitKey (0)
 
 После загрузки и изменения размеров наших изображений мы инициализируем наш класс  Stitcher  в строке , строка 23, . Затем мы вызываем метод  stitch , передавая наши два изображения (снова , в порядке слева направо)  и указываем, что мы хотели бы визуализировать совпадения ключевых точек между двумя изображениями.
 Наконец,  Строки 27-31  отображают наши выходные изображения на нашем экране.
 Результаты склейки панорамы 
 В середине 2014 года я поехал в Аризону и Юту, чтобы насладиться национальными парками.По пути я останавливался во многих местах, включая Брайс-Каньон, Гранд-Каньон и Седону. Учитывая, что в этих местах есть красивые живописные виды, я, естественно, сделал несколько фотографий, некоторые из которых идеально подходят для построения панорам. Я включил образцы этих изображений в сегодняшний блог, чтобы продемонстрировать сшивание панорамы.
 Итак, давайте попробуем наш сшиватель панорам OpenCV. Откройте терминал и введите следующую команду:
$ python stitch.py ​​- первые изображения / bryce_left_01.png \
--секундные изображения / bryce_right_01.png
 
 Рис. 1:   (вверху)  Два входных изображения каньона Брайс (в порядке слева направо).  (внизу)  Совпадающие соответствия ключевых точек между двумя изображениями.
 На вершине   этого рисунка мы видим два входных изображения (размер которых изменен, чтобы соответствовать моему экрану, необработанные файлы .jpg имеют гораздо более высокое разрешение). А внизу   мы можем видеть совпадающие ключевые точки между двумя изображениями.
 Используя эти согласованные ключевые точки, мы можем применить перспективное преобразование и получить окончательную панораму:
  Рисунок 2:  Создание панорамы из двух наших входных изображений.
 Как мы видим, два изображения успешно сшиты вместе!
   Примечание:    На многих из этих примеров изображений вы часто видите видимый «шов», проходящий через центр сшитых изображений. Это связано с тем, что я сделал много фотографий, используя свой iPhone или цифровую камеру с поворотом автофокуса  на , поэтому фокусировка немного отличается для каждого снимка  . Сшивание изображений и построение панорамы работают лучше всего, когда вы используете один и тот же фокус для каждой фотографии.Я никогда не собирался использовать эти отпускные фотографии для сшивания изображений, иначе я бы позаботился о настройке датчиков камеры. В любом случае имейте в виду, что шов возникает из-за различных свойств сенсора в то время, когда я делал снимок, и не был преднамеренным. 
 Давайте попробуем еще один набор изображений:
$ python stitch.py ​​--first images / bryce_left_02.png \
--вторые изображения / bryce_right_02.png
 
 Рисунок 3:  Еще одно успешное применение сшивания изображений с помощью OpenCV.
 И снова наш класс  Stitcher  смог построить панораму из двух входных изображений.
 А теперь перейдем к Гранд-Каньону:
.
$ python stitch.py ​​--first images / grand_canyon_left_01.png \
--second images / grand_canyon_right_01.png
 
 Рисунок 4:  Применение сшивания изображений и построения панорамы с использованием OpenCV.
 На приведенных выше входных изображениях мы видим сильное перекрытие между двумя входными изображениями. Основное дополнение к панораме - это  правая сторона  сшитых изображений, где мы можем видеть больше «выступа», добавляемого к выходному результату.
 Вот еще один пример из Гранд-Каньона:
$ python stitch.py ​​--first images / grand_canyon_left_02.png \
--second images / grand_canyon_right_02.png
 
 Рисунок 5:  Использование сшивания изображений для построения панорамы с использованием OpenCV и Python.
 Из этого примера мы видим, что на панораму было добавлено больше  огромных  просторов Гранд-Каньона.
 Наконец, давайте завершим это сообщение в блоге примером сшивки изображения от Sedona, AZ:
$ python stitch.py --first images / sedona_left_01.png \
--секундные изображения / sedona_right_01.png
 
 Рисунок 6:  Последний пример применения сшивания изображений.
 Лично я считаю, что страна красных скал Седона - одна из самых красивых мест, которые я когда-либо посещал. Если у вас когда-нибудь будет шанс, обязательно загляните - вы не будете разочарованы.
 Итак, у вас есть сшивание изображений и построение панорамы с использованием Python и OpenCV!
 Сводка 
 В этом сообщении блога мы узнали, как сшивать изображения и создавать панорамы с помощью OpenCV.Исходный код был предоставлен для сшивания изображений для  как для  OpenCV 2.4, так и для OpenCV 3.
 Наш алгоритм сшивания изображений требует четырех шагов: (1) обнаружение ключевых точек и извлечение локальных инвариантных дескрипторов; (2) сопоставление дескрипторов между изображениями; (3) применение RANSAC для оценки матрицы гомографии; и (4) применение преобразования деформации с использованием матрицы гомографии.
 Несмотря на простоту, этот алгоритм хорошо работает на практике при построении панорам для двух изображений.В следующем сообщении блога мы рассмотрим, как создавать панорамы и выполнять сшивание изображений  для более чем двух изображений .
 В любом случае, я надеюсь, вам понравился этот пост!  Обязательно воспользуйтесь формой ниже, чтобы загрузить исходный код и попробовать.  
 Загрузите исходный код и БЕСПЛАТНОЕ 17-страничное руководство по ресурсам 
 Введите свой адрес электронной почты ниже, чтобы получить .zip кода и  БЕСПЛАТНОЕ 17-страничное руководство по ресурсам по компьютерному зрению, OpenCV и глубокому обучению. Внутри вы найдете мои тщательно отобранные учебники, книги, курсы и библиотеки, которые помогут вам освоить CV и DL!
 Объяснение 13 основных терминов в области визуального мерчандайзинга 
 Около 
 Продукты 
 Консультации по розничной торговле 
 Истории клиентов 
 Блог 
 Связаться с нами 
 Назад 
 Français 
 Español 
 Deutsch 
 О компанииПродукцияКонсультации по розничной торговлеИстории клиентовБлогКонтакт 
 Français 
 Español 
 Deutsch.