О решении

Подсистема управления видеоархивом и видеотрансляциями предназначена для формирования архива видеозаписей и их трансляции в FullHD и 4K качестве.

Для формирования картинки телевизионного качества используются камеры с матрицей 12- 20 Mpix с PCIEx интерфейсом что позволит динамически формировать рабочую область изображения,

В качестве аппаратной платформы используется решение на основе камер XIMEA (www.ximea.com) в сочетании с вычислителями NVIDIA Jetson Xavier AGX Industrial.

Формирование крупных планов обеспечивается за счет использования камер с PTZ управлением и фокусным расстоянием объектива 23-750мм или 23-300 мм (точный выбор определяется ).

Хранение видеоархива выполняется на основе системы хранения –ленточной библиотеки на основе LTO-9 картриджей, что обеспечивает объем более 9 Пб на одну стойку при относительно низкой стоимости владения.

В качестве буфера используется 120 Tb накопитель на HDD и быстрый буфер объемом в 20 Tb на основе SSD дисков. 

Подсистема футбольной видеоаналитики строится на основе анализа видеозаписи игр и тренировок.

В основу решения положена уже имеющаяся библиотека анализа изображений на основе NVIDIA GPU собственной разработки COSOC.VIDEO и библиотека FastVideo SDK ООО «Фаствидео» для перемасшабирования изображений и RAW>>RGB  преобразования.

Использование вычислителей вынесенных к камерам обеспечит возможность преобразования RAW>>RGB  и формирования потока изображений JPEG формата.

Это обеспечивает организацию быстрого показа повторов (эта задача не решается стандартными H264 кодеками) и оперативный выбор ROI для трансляции. При этом поиск игроков и мяча производится на изображении уменьшенного разрешения, что обеспечивает требуемое быстродействие.

Функции системы

Система обеспечивает решение двух основных групп задач:

• Задачи по подготовке и проведению трансляций футбольных матчей.
• Задачи по футбольной видеоаналитике.

 

Первой стадией обработки информации является получение сырого сигнала с камер высокого разрешения и предварительная обработка RAW>>RGB с использованием доработанного SDK FASTVideo https://www.fastcompression.com/products/products.htm  традиционно используемого нами для обработки видео с камер высокого разрешения.

 

На выходе мы получаем последовательность JPEG кадров передаваемую на сервер видеоаналитики.

 

На сервере видеоаналитики решаются две следующие важные задачи

1. построение сцены игры/тренировке на виде сверху с идентифицированными игроками (пример построения TopView приведен на рисунке 4).
2. Реидентификация игроков (иллюстрация реидентификации приведена на рисунке 2)
3. Построение скелетной модели каждого из игроков
4. Трекинг мяча
5. Трекинг игроков включая фильтрацию траекторий.
6. Распознавание индивидуальных тактико-технических действий
7. Распознавание тактических построений и ситуаций
8. Управление ROI камер и формирование сценария для автоматического выполнения функций оператора
9. формирование сценария для автоматического выполнения функций оператора трансляции
10. формирование сценария для автоматического выполнения функций режиссера трансляции

При ведении трансляции игры на лету так же решается задача масштабирования изображения с текущей  камеры и выбора оси визирования.

Далее на сервере футбольной видеоаналитики решается задача обнаружения и классификации тактико – технических действий игроков на основе двух подходов:

• Анализа относительного движения центров масс игроков и мяча;
• Анализа движения скелетной модели каждого из игроков сцены в привязке к системе отсчета сцены.

Сформированная последовательность тактико-технических действий сохраняется в реляционную базу данных, интегрированную с внешней специализированной CRM системой управления тренировочным процессом.

Пример отчета по ТТД игроков в ходе матча приведен в Приложении 1.

Ошибки определения центров масс игроков и отдельных суставов сглаживаются методами фильтрации, которые являются интеллектуальной собственностью разработчика и частично представлены в ряде статей и кандидатской диссертации Александра Гиля-Зетинова «Разработка методов и алгоритмов сопровождения объектов в  системах машинного зрения» и кандидатской диссертации Романа Хафизова «Разработка технологий анализа движений спортсменов на основе нейросетевого анализа данных».

Также на этом этапе решается задача реидентификации игроков для уменьшения вероятности перепутывания игроков. 

При решении задач траекторной обработки мы предполагаем ограничение в 50 человек одновременно находящихся на поле. Ограничение связано с используемыми вычислительными ресурсами и накладывается только для обработки информации в реальном времени.

Формирование массива /обучающей выборки для точной идентификации выполняемых индивидуальных и командных  ТТД будет выполняться на стадии опытной эксплуатации системы. До получения первого живого видео настройка видеоаналитики будет проводиться на материалах собранных ранее (игры европейских чемпионатов в 4K и FullHD качестве, доступные в сети).

По результатам анализа будет окончательно  формироваться и настраиваться алгоритм и форматы хранения информации по играм и тренировочному процессу. 

Для наглядности результаты анализа могут представляться в виде графиков, диаграмм, анимированных изображений, слоев дополненной реальности.