Совместный проект ООО «Союз-Агро» и АО «Когнитив»

в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы»

Проект выполняется при финансовой поддержке Министерства образования и науки Российской Федерации

Уникальный идентификатор ПНИЭР (прикладных научных исследований и экспериментальных разработок) RFMEFI57915X0119

Номер Соглашения о предоставлении субсидии № 14.579.21.0119 от 27.10.2015 г.

Тема: «Разработка программного комплекса оперативного мониторинга работы сельскохозяйственной техники с использованием систем высокоточного позиционирования»

Приоритетное направление: Информационно-телекоммуникационные системы (ИТ)

Критическая технология: Технологии информационных, управляющих, навигационных систем

Ключевые слова: Глобальная система позиционирования, стохастическая фильтрация, радар, автосо

провождение, сглаживание и экстраполяция траектории, цифровая карта местности, анализ сцены, оптимальное управление

Исполнитель ПНИЭР (Получатель субсидии): АО "Когнитив"

Индустриальный партнер: ООО «Союз-Агро»

Сумма соглашения:

Средства субсидии 34 000 000,00 (Тридцать четыре миллиона) рублей

- в 2015 году в размере 7 000 000 (Семь миллионов) рублей,

- в 2016 году в размере 12 000 000 (Двенадцать миллионов) рублей,

- в 2017 году в размере 15 000 000 (Пятнадцать миллионов) рублей,

Средства Индустриального партнера 34 000 000,00 (Тридцать четыре миллиона) рублей

- в 2015 году в размере 7 000 000 (Семь миллионов) рублей,

- в 2016 году в размере 12 000 000 (Двенадцать миллионов) рублей,

- в 2017 году в размере 15 000 000 (Пятнадцать миллионов) рублей,

Срок выполнения ПНИЭР: 27.10.2015 - 31.12.2017 гг.

Основные этапы проекта

1 этап (27.10.2015 - 31.12.2015 гг.) - Выбор и обоснование направления исследований и разработок

2 этап (01.01.2016 - 31.12.2016 гг.) - Теоретические и экспериментальные исследования

3 этап (01.01.2017 - 31.12.2017 гг.) - Теоретические и экспериментальные исследования.  Обобщение и оценка результатов ПНИЭР

 

Цель проекта

Разработка комплекса научно-технических решений для создания программного комплекса оперативного мониторинга работы сельскохозяйственной техники с использованием систем высокоточного позиционирования для создания автоматизированных систем управления сельскохозяйственным производством, а также наблюдения за движением комбайнов нового поколения и другой уборочной техники в интересах повышения эффективности уборочного процесса в агрокомплексе РФ.

Основные результаты проекта

Основным результатом проекта явился экспериментальный образец программного комплекса оперативного мониторинга работы сельскохозяйственной техники с использованием систем высокоточного позиционирования (далее - ЭО ПК), реализовавший разработанные технические решения, успешно прошедший экспериментальные исследования по разработанной и согласованной с индустриальным партнером программе и методикам.

Перечень научных и научно-технических результатов полученных при выполнении ПНИЭР на 1 этапе (выполнено в 2015 году):

  • аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках ПНИЭР;

  • патентные исследования в соответствии с ГОСТ Р 15.011-96;

  • выбор и обоснование направления исследований и разработок.

Перечень научных и научно-технических результатов полученных при выполнении ПНИЭР на 2 этапе (выполнено в 2016 году):

  • Технические решения для создания программного комплекса оперативного мониторинга работы сельскохозяйственной техники с использованием систем высокоточного позиционирования, в том числе:

- алгоритм приема и обработки телеметрической информации от сенсоров, установленных на уборочной технике, преимуществом которого является универсальность с точки зрения работы с большинством типов современных сенсоров и возможность наращивания функционала;

- алгоритм предобработки и нормализации кадров входного видеоряда, который основывается на применении адаптивных методов линейной и медианной фильтрации, учитывающих вариацию характеристик, для подавления аддитивных, импульсных шумов и стабилизации изображений;

- алгоритм идентификации обнаруженных объектов с координатной информацией, поступающей от ГЛОНАСС/GPS датчиков, установленных на уборочной технике, суть которого заключается в преобразовании координат объектов из системы координат изображения (сенсоров) в локальную систему координат, связанную с техникой;

- алгоритм автосопровождения активных участников полевого процесса, в котором отслеживание объектов от кадра к кадру осуществляется с помощью техники фильтра частиц и признаков, моделирующих представление объекта трекинга (цвет, контур, текстура), что позволяет устойчиво отслеживать множество объектов даже при движущейся камере и с частичным перекрытием отслеживаемых объектов;

- алгоритм сглаживания параметров траектории сопровождаемой уборочной техники, в котором в качестве алгоритмической основы используется построение аппроксимирующих спланов в приближении локально-взвешенной регрессионной модели с граничными условиями;

- алгоритм мониторинга и экстраполяции (прогноза) маршрутов движения уборочной техники методами стохастической фильтрации на основе линейного нестационарного фильтра Калмана-Бьюси с последующим прогнозом траектории на требуемое время;

- алгоритм привязки маршрутов движения уборочной техники к карте местности, в которой осуществляется уборка урожая для учета особенностей рельефа и маневров движения;

- алгоритм анализа полевой сцены, определения и прогноза опасных ситуаций, основанный на аппроксимации сложных геометрических форм простыми фигурами (узлами BVH-дерева), что обеспечивает решение задачи по определению момента столкновения уборочной техники после отбора потенциально опасных траекторий ее движения;

- алгоритм визуализации наблюдаемой полевой сцены на мониторе оператора ЦУУТ, который обеспечивает вывод на экран оператора ЦУУТ информации о положении техники на карте, траектории движения, прогнозе опасных моментов и видеоданных, получаемых с видеокамер, установленных на единицах уборочной техники;

- алгоритм анализа качества получаемой зерновой смеси, величины потерь, режимов загрузки исполнительных механизмов, реализованный на базе методов детектирования дробленого зерна и примесей на изображении с использованием аппарата морфологии изображений;

- алгоритм управления исполнительными механизмами уборочной техники, который использует информацию по траектории движения и по уровню потерь, формируемых другими алгоритмами;

- алгоритм детектирования возгораний, базирующийся на цветовом и частотном анализе пикселей анализируемого изображения, который показал высокую вероятность детектирования возгораний (до 93%) и низкий уровень ложных тревог наряду с легковесностью применяемых вычислительных процедур.

  • ЭО ПК оперативного мониторинга работы сельскохозяйственной техники с использованием систем высокоточного позиционирования, реализующий технические решения.

Перечень научных и научно-технических результатов полученных при выполнении ПНИЭР на 3 этапе (выполнено в 2017 году):

  • ЭО ПК с комплектом программной и конструкторской документации прототипа ЦУУТ, успешно прошедший натурные экспериментальные исследования;

  • обобщение и оценка результатов ПНИЭР, которые показали, что достигнутые результаты соответствуют современному научно-техническому уровню аналогичных исследований. ЭО ПК соответствует ТЗ на ПНИЭР, реализует все основные функции систем подобного класса, имеет высокие показатели качества и является конкурентоспособным образцом программного комплекса оперативного мониторинга работы сельскохозяйственной техники;

  • рекомендации и предложения по использованию результатов ПНИЭР в дальнейших исследованиях и опытно-конструкторских работах с учетом технологических возможностей индустриального партнера - ООО "Союз-Агро".

Охраноспособные результаты интеллектуальной деятельности (РИД), полученные в рамках ПНИЭР

 

Полезная модель, «Система мониторинга маршрутов движения сельскохозяйственных машин при выполнении полевых работ», заявка № 2016138677 от 30.09.2016, РФ.

Преобразована в заявку на изобретение № 2017115467/11 (026857). Уведомление о положительном результате формальной экспертизы от 30.06.2017.

Полезная модель, «Автоматизированный стенд для отработки технологии контроля качества зерна», заявка № 2017128083 от 07.08.2017, РФ.

Программа для ЭВМ, «Система контроля качества зерна с использованием технологии компьютерного зрения», свидетельство о государственной регистрации № 2017661155 от 04.10.2017, РФ.

Публикации в рамках ПНИЭР

1. Оценивание параметров нелинейных моделей на основе метода сеток с привлечением априорной информации о весах узлов. Беркович С.Б., Котов Н.И., Садеков Р.Н., Минкин Ю.И., Шолохов А.В. //Измерительная техника. Measurement Techniques, Springer US.

2. The automated testing facility based on machine vision for optimizing grain quality control technology. A. V. Panchenko, N. V. Reshetnyak, A. M. Samohin, V. V. Postnikov, JSC Cognitive, Moscow// Proc. of SPIE (The 9th International Conference on Machine Vision, 2016, Nice, France)

https://www.spiedigitallibrary.org/conference-proceedings-of-spie/10341/103411Q/The-automated-testing-facility-based-on-machine-vision-for-optimizing/10.1117/12.2268596.short#ArticleLink

В статье приводится описание конструкции имитационного стенда и архитектуры программного обеспечения для отработки технологии анализа качества зерна в бункере зерноуборочного комбайна в процессе уборки урожая при помощи программно-аппаратного комплекса на основе системы технического зрения. Приводится описание метода подготовки обучающей выборки для автоматизации процесса разработки детекторов и контроля качества работы стенда.

3. On the theoretically achievable accuracy of a selective assessment of grain quality. Minkin U.I., Panchenko A.V., Konovalenko I.A., Polevoy D.V.// International Journal of Applied Engineering Research

https://www.ripublication.com/ijaer17/ijaerv12n23_100.pdf

В статье производится анализ статистических свойств выборочной оценки качества зерна для наилучшего случая. Кроме того, выводится распределение истинного неизвестного значения качества зерна при условии зафиксированной выборки и его главные характеристики. Работа предназначена для выбора такого размера выборки, который теоретически может обеспечить требуемое качество оценки, а также для настройки алгоритмов оценивания качества зерна и сравнения их экспериментально измеренного качества работы с теоретически предельно достижимыми показателями.

4. Computer vision system: a tool for evaluating the quality of wheat in a grain tank. Minkin U.I., Panchenko A.V., Shkanaev A.Y., Konovalenko I.A. , Putintsev D.N., Sadekov R.N.// Proc. of SPIE (The 10th International Conference on Machine Vision, 2017, Vienna, Austria)

В статье описана технология, позволяющая автоматизировать процесс оценки качества зерна в зерновом бункере комбайна. Фотографические изображения, формируемые камерой, анализируются специальными алгоритмами распознавания, что обеспечивает получение оценок массовой доли битого зерна и наличия примесей в автоматическом режиме. Описывается технические подробности созданного макета бункера. Приводятся показатели точности разработанных алгоритмов.

5. The program complex of operational monitoring of agricultural machinery work with the use of high-precision positioning systems. Bagmanov R.S., Minkin U.I., Budakovskii M.V., Panchenko A.V., Shushpanov V.S.// International Journal of Applied Engineering Research

https://www.ripublication.com/ijaer17/ijaerv12n24_210.pdf

В статье описана разработанная система мониторинга сельскохозяйственной техники. Система обеспечивает автоматический учет собираемого зерна – начиная с уборки зерна комбайном и заканчивая транспортировкой зерна грузовиком на зерновой элеватор. Реализация системы требует установки дополнительных датчиков, предоставляющих  координатную информацию о технике, информацию о сближении единиц техники во время выгрузки и предоставляющих информацию о включении/выключении выгружающих механизмов. Мониторинг осуществляется в режиме реального времени.

Мероприятия по демонстрации и популяризации результатов ПНИЭР

  • ежегодная международная научно-техническая конференция «The 9th International Conference on Machine Vision» (ICMV 2016);

http://www.icmv.org/photo2016.html

  • 28-ая международная научно-техническая конференция «Экстремальная робототехника (ЭР-2017)»;

http://er.rtc.ru/index.php/ru/

  • ежегодная международная научно-техническая конференция «The 10th International Conference on Machine Vision» (ICMV 2017).

http://www.icmv.org/photo2017.html