Метод CARL помог трём типам роботов точнее следовать заданной траектории

Исследователи Университета Иллинойса в Урбана-Шампейн разработали метод управления роботами CARL (Contraction-Aware Reinforcement Learning), который объединяет обучение с подкреплением с математической теорией сжатия — и тем самым предоставляет строгие гарантии устойчивости траектории. Работа опубликована в журнале IEEE Transactions on Robotics (DOI: 10.1109/TRO.2026.3727138). Авторы — аспирант Минджэ Чо, профессора Хиройясу Цукамото и Хуй Т. Тран, кафедра авиационной инженерии.

В чём проблема обычного обучения с подкреплением

Обучение с подкреплением (reinforcement learning, RL) — популярный подход, при котором робот учится управлению методом «проб и ошибок», постепенно максимизируя вознаграждение за правильные действия. Метод даёт гибкие и высокопроизводительные контроллеры, но страдает принципиальным недостатком: сам по себе он не обязательно даёт формальные гарантии относительно того, насколько далеко может отклониться реальная траектория от запланированной. Для систем реального времени — дронов, шагающих роботов, промышленных манипуляторов — это проблема: небольшая ошибка может накапливаться и приводить к аварии.

CARL решает эту проблему, встраивая в RL-контроллер механизм из теории сжатия: математического аппарата, позволяющего аналитически ограничить максимальный размер ошибки отслеживания траектории. Иными словами, CARL не обещает, что ошибки не будут возникать, — при принятых в модели предпосылках задаёт математическую верхнюю границу их величины.

Тестирование на трёх типах роботов

Команда проверила метод сначала в симуляции, затем на реальном оборудовании в аэрокосмической лаборатории университета. Три совершенно разные платформы:
колёсная платформа, машущий крыльями воздушный дрон и шестиногий шагающий робот Jethexa.

Ключевые результаты на физических роботах:

• показатели отслеживания траектории улучшились до 15% по сравнению с существующими методами;
• CARL лучше справился с «разрывом между симуляцией и реальностью» — расхождением параметров (масса, трение) между моделью и реальным роботом;
• преимущество из симуляции в значительной мере перенеслось на физические испытания.

Перспективы применения

Авторы называют в числе потенциальных применений управление роботами при тушении лесных пожаров: обнаружение очагов горения или доставка снаряжения пожарным. Код метода опубликован в открытом доступе на GitHub. Важно понимать ограничения: сообщение описывает лабораторные испытания; применение в условиях реального пожара пока не продемонстрировано. Математические гарантии распространяются на условия и ограничения, принятые в математической модели, а не на произвольные внешние среды.

Читайте также: Подводный робот с четырьмя гибкими крыльями освоил три способа движения.

Более широкое значение работы — в том, что она предлагает путь к верифицируемому RL: системам, где соответствие требованиям безопасности можно доказать формально, а не только продемонстрировать эмпирически.