Совместный проект ООО «Когнитивные технологии», ООО «Комбайновый завод «Ростсельмаш» и ЗАО «Интерпрогма» в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы»

 

 

Проект выполняется при финансовой поддержке Министерства образования и науки Российской Федерации

Уникальный идентификатор ПНИЭР (прикладных научных исследований и экспериментальных разработок) RFMEFI57915X0122

Номер Соглашения о предоставлении субсидии № 14.579.21.0122 от 27.10.2015 г.

Тема: «Разработка технологии автономного управления наземной сельскохозяйственной техникой на базе технологий компьютерного зрения»

Приоритетное направление: Транспортные и космические системы (ТС)

Критическая технология: Технологии информационных, управляющих, навигационных систем Ключевые слова: Авторобот, беспилотное вождение, стереоскопическое зрение, распознавание образов, автоматическая классификация, кластер-анализ, компьютерное зрение, калмановская фильтрация, многокритериальная оптимизация

Исполнитель ПНИЭР (Получатель субсидии): ООО "Когнитивные технологии"

Индустриальные партнеры: ООО «Комбайновый завод «Ростсельмаш» и ЗАО «Интерпрогма»

Сумма соглашения:

Средства субсидии 34 000 000,00 (Тридцать четыре миллиона) рублей

- в 2015 году в размере 7 000 000 (Семь миллионов) рублей,

- в 2016 году в размере 12 000 000 (Двенадцать миллионов) рублей,

- в 2017 году в размере 15 000 000 (Пятнадцать миллионов) рублей,

Средства Индустриальных партнеров 34 000 000,00 (Тридцать четыре миллиона) рублей

- в 2015 году в размере 7 000 000 (Семь миллионов) рублей,

- в 2016 году в размере 12 000 000 (Двенадцать миллионов) рублей,

- в 2017 году в размере 15 000 000 (Пятнадцать миллионов) рублей,

Срок выполнения ПНИЭР: 27.10.2015 - 31.12.2017 гг.

Основные этапы проекта

1 этап (27.10.2015 - 31.12.2015 гг.) - Выбор и обоснование направления исследований и разработок

2 этап (01.01.2016 - 31.12.2016 гг.) – Исследования и разработка программных решений

3 этап (01.01.2017 - 31.12.2017 гг.) – Разработка ЭО ПАК. Обобщение и оценка результатов ПНИЭР.

Цель проекта

Разработка и изготовление экспериментального образца программно-аппаратного комплекса автоматического управления траекторией и скоростью движения комбайна, реализующего технологию автономного управления наземной сельскохозяйственной техникой на базе компьютерного зрения и экспериментального образца комбайна с электронным управлением. Создание на базе технологии автономного управления движением новых видов машиностроительной продукции —сельскохозяйственной техники ООО «КЗ «Ростсельмаш», предназначенной для повышения эффективности уборки зерновых культур.

Основные результаты проекта

Разработан и успешно прошел все виды испытаний экспериментальный образец программно-аппаратного комплекса автоматического управления траекторией и скоростью движения комбайна (далее - ЭО ПАК), реализующий алгоритмы компьютерного зрения, созданный на базе экспериментального образца комбайна "TORUM-760" с электронным управлением.

Перечень научных и научно-технических результатов полученных при выполнении ПНИЭР на 1 этапе (выполнено в 2015 г.):

  • Аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках ПНИЭР.

а) Перечень информационных источников: 158 статей и патентов (из них более 50 за период 2005 – 2015 гг.);

б) Отчет об исследованиях и анализе состояния проблемы в области алгоритмов:

- обнаружения и отслеживания границ между убранной и неубранной частями поля (кромки поля, границ валка) вдоль траектории движения;

- обнаружения динамических и статических объектов;

- мониторинга и прогноза положения обнаруженных динамических объектов;

- обнаружения неровностей и повреждений рельефа;

- анализа сцены уборки и прокладывания оптимальной траектории движения;

- управления скоростным режимом;

- определения и прогноза опасных ситуаций с учетом возможной экстренной остановки;

- интеграции со вспомогательными сенсорами.

  • Обоснование и выбор оптимального варианта направления исследований и разработок.

  • Отчет о патентных исследованиях в соответствии ГОСТ Р 15.011-96.

Перечень научных и научно-технических результатов полученных при выполнении ПНИЭР на 2 этапе (выполнено в 2016 г.):

  • Алгоритм и программная компонента, реализующая алгоритм обнаружения и отслеживания границ между убранной и неубранной частями поля (кромки поля, границ валка) вдоль траектории движения, в основе которого лежит решение задачи классификации с помощью аппарата глубоких сверточных сетей, что позволило добиться точности в восстановлении границы на изображении на уровне более 90 процентов.

  • Алгоритм и программная компонента, реализующая алгоритм обнаружения динамических и статических объектов, новизна которого заключается в возможности обнаруживать объекты ранее неизвестного вида с произвольными геометрическими характеристиками.

  • Алгоритм и программная компонента, реализующая алгоритм мониторинга и прогноза положения обнаруженных динамических объектов, базирующийся на применении методов детекции и регистрации объектов с последующим обновлением списка обнаруженных объектов.

  • Алгоритм и программная компонента, реализующая алгоритм обнаружения неровностей и повреждений рельефа, суть которого заключается в возможности детекции таких повреждений рельефа как вспучивание почвы, колея, яма и лужа, имеющих видимые размеры по ширине и длине не менее 1 м.

  • Алгоритм и программная компонента, реализующая алгоритм анализа сцены уборки и прокладывания оптимальной траектории движения, в основе которого лежат возможности разработанных в проекте методов детектирования для решения задачи оптимизации процессов управления.

  • Алгоритм и программная компонента, реализующая алгоритм управления скоростным режимом, для реализации которого был выбран принцип минимизации комплексного показателя качества функционирования комбайна.

  • Алгоритм и программная компонента, реализующая алгоритм определения и прогноза опасных ситуаций, возможности которого позволяют спрогнозировать аварийные ситуации, связанные как со столкновениями с динамическими или со статическими объектами, так и несвязанные со столкновениями с препятствиями, располагающимися на траектории движения транспортного средства.

  • Алгоритм и программная компонента, реализующая алгоритм интеграции со вспомогательными сенсорами, который обеспечивает возможность комплексного управления сельскохозяйственной техникой и позволяет контролировать окружение техники при уборке сельскохозяйственных культур.

  • Технические требования к вспомогательным сенсорам.

  • Формат импорта информации об объектах – статических и динамических, картографических данных, управляющих сигналов от внешних информационных систем.

  • Разработаны исходные данные (требования) по управлению скоростным режимом с безусловным приоритетом безопасности движения по заданным критериям.

  • Разработаны исходные данные (требования) по прокладыванию оптимальной траектории управляемого комбайна с безусловным приоритетом безопасности движения в зависимости от режима работы.

  • Разработана 3D модель аппаратной составляющей ЭО ПАК.

Перечень научных и научно-технических результатов полученных при выполнении ПНИЭР на 3 этапе (выполнено в 2017 г.):

  • Результаты исследовательских испытаний программных компонент ЭО ПАК, выполненных на основе разработанной и утвержденной программы и методик.

  • Эксплуатационная документация ЭО ПАК и комплект РКД аппаратной составляющей ЭО ПАК.

  • Результаты исследовательских испытаний ЭО ПАК, установленного на доработанном прототипе комбайна, выполненных на основе разработанной и утвержденной программы и методик.

  • Обобщение и оценка результатов ПНИЭР на соответствие требованиям ТЗ, полноты решения задач и поставленных целей, технико-экономическую оценку, сравнительную оценку научно-технического уровня результата с современным научно-техническим уровнем аналогичных исследований.

  • Предложения и рекомендации по дальнейшему использованию результатов ПНИЭР, включая проект ТЗ на ОКР.

В рамках ПНИЭР создана библиотека уникальных видеофрагментов объемом в 72 426 единицы с общим количеством признаков в 153 465 единиц. Данные библиотеки использованы для первичной настройки нейронных сетей,  тестирования разработанных алгоритмов компьютерного зрения, контроля качества разрабатотанных программных компонент.

Охраноспособные результаты интеллектуальной деятельности (РИД), полученные в рамках ПНИЭР

1. Программа для ЭВМ, свидетельство о государственной регистрации № 2017610205 от "09" января 2017г. "Система обнаружения и отслеживания границ между убранной и неубранной частями поля, версия 1.0", РФ.

2. Программа для ЭВМ, свидетельство о государственной регистрации № 2017662356 от "03" ноября 2017г. "Система анализа сцены уборки и прокладывания оптимальной траектории движения сельскохозяйственной техники на базе технологии компьютерного зрения, версия 1.0", РФ.

3. Программа для ЭВМ, свидетельство о государственной регистрации № 2017662394 от "07" ноября 2017г. "Система автоматического вождения сельскохозяйственной техники на базе технологии компьютерного зрения, версия 1.0", РФ.

Публикации в рамках ПНИЭР

1. Использование информации визуальных систем и цифровых карт дорог для повышения точности позиционирования наземных подвижных объектов. С. Б. Беркович, Н. И. Котов, Р. Н. Садеков, А. В. Шолохов, В. А. Цышнатий// XXIII Санкт-Петербургская международная конференция по интегрированным навигационным системам, 2017 г.

В работе предлагается подход к использованию информации цифровых карт дорог и визуальных систем технического зрения для повышения точности определения навигационных параметров подвижного объекта.

 

В качестве грубой навигационной системы в работе предлагается использовать визуальную систему, работающую в режиме визуальной одометрии. Кроме того, визуальная система измеряет боковое отклонение объекта относительно осевой линии дороги, а также углы пеленга и дальности до центров перекрестков дорог. Информация о положении перекрестков дорог доступна в цифровой карте и используется алгоритмом идентификации дорог/перекрестков. Формируемые новые измерения позволяют повысить точность определения координат навигационной системой, что доказывается в ходе моделирования с привлечением реальных натурных измерений.

2. Straw row position and orientation reconstruction through image segmentation. A.Y. Shkanaev, D.V. Polevoy, A. V. Panchenko, Y.Y. Borisov, M.I. Kolomeychenko// International Journal of Applied Engineering Research.

3. Использование систем технического зрения для определения положения транспортного средства на дороге. Н. И. Котов, С. Б. Беркович, Р. Н. Садеков, А. В. Шолохов, А. С. Лычагов, Ю. В. Лихолай// XXIV Санкт-Петербургская международная конференция по интегрированным навигационным системам, 2017 г.

В работе решатся задача распознавания на изображении области дорожного полотна с целью определения бокового смещения объекта относительно осевой линии направления движения. Значение бокового отклонения используется для определения факта нахождения объекта на дороге.

4. Analysis of straw row in the image to control the trajectory of the agricultural combine harvester. A.Y. Shkanaev, D.V. Polevoy, A. V. Panchenko, D.A. Krokhina, R.N. Sadekov// Proc. of SPIE (The 10th International Conference on Machine Vision, 2017, Vienna, Austria)

В статье предлагается решение задачи автоведения комбайна вдоль соломенных валков по изображениям камеры установленной в кабине комбайна. Распознавание соломенных валков на изображении реализуется сетью U-Net. Края валка аппроксимируются на сегментированном изображении кривыми линиями и пересчитываются в систему координат комбайна для системы авто ведения. Применение «новой» архитектуры сети и подходов к аппроксимации валков повысило качество решения задачи распознавания и скорости обработки кадров до 96% и 7.5 fps соответственно.

5. Grain wagon fill detection using camera and deep convolution network. A.Y. Shkanaev, A.V. Panchenko, N.I. Kodosov// International Journal of Applied Engineering Research

https://www.ripublication.com/ijaer17/ijaerv12n21_77.pdf

В статье описана система автоматического детектирования попадания потока зерна из трубы шнека при его отгрузке в кузов. Система использует информацию только одной камеры и глубокую сверочную сеть для распознавания элементов кузова и потока зерна. Жесткая фиксация камеры над кузовом позволяет использовать модель birds-view трансформации для выработки сигналов о положении кузова относительно трубы шнека.

Мероприятия по демонстрации и популяризации результатов ПНИЭР

  • Российский агротехнический форум (Россия, г. Москва, 3 октября 2016 г);

  • «Цифровая индустрия промышленной России – 2017» (ЦИПР) (Россия, Республика Татарстан, г. Иннополис, 24 – 26 мая 2017 г);

http://cipr.ru/table_schedules/

  • SKOLKOVO ROBOTICS V (Москва, Технопарк, Большой бульвар 42 стр.1, территория Инновационного Центра Сколково, 21 апреля 2017 г.)

http://sk.ru/foundation/events/april2017/robotics/p/program.aspx

  • Ежегодная международная научно-техническая конференция «The 10th International Conference on Machine Vision» (ICMV 2017).

http://www.icmv.org/photo2017.html