Google запилила AI инструмент AutoFlip для crop'инга видео

Google выпустила новый AI фреймворк AutoFlip, который позволит проще Crop'ать видео под разные экраны. 

Он позволяет обрезать ролик с помощью машинного обучения так, чтобы даже при смене соотношения сторон, видео было смотрибельно

Инструмент доступен на гитхабе как саб фича в mediapipe (проект по распознаванию объектов на видео)

Как работает AutoFlip

AutoFlip предоставляет полностью автоматическое решение для интеллектуального рефрейминга видео, используя современные технологии обнаружения и отслеживания объектов с поддержкой ML. AutoFlip обнаруживает изменения в композиции, которые означают изменения сцены, чтобы изолировать сцены для обработки.

Поиск Crop элемента:

Сцена или снимок - это непрерывная последовательность видео без сокращений (или скачков). Чтобы обнаружить смену кадра, AutoFlip вычисляет цветовую гистограмму каждого кадра и сравнивает ее с предыдущими кадрами. AutoFlip буферизует видео до тех пор, пока сцена не будет завершена, прежде чем принимать решения о рефрейминге, чтобы оптимизировать рефрейминг для всей сцены.

Проект будет полезен тем, кто часто работает с видео и различными платформами. Более детально про AutoFlip можно почитать в блоге google.