Дослідження глибокого навчання з підкріпленням у середовищі VizDoom

Abstract

У магістерській роботі досліджено методи глибокого навчання з підкріпленням у контексті середовища VizDoom, що є тривимірною платформою для моделювання агентів у шутері від першої особи. Основну увагу зосереджено на аналізі, розробці та експериментальному оцінюванні агентів, побудованих на базі алгоритму Deep Q-Network (DQN) та його покращених модифікацій. Розглянуто ключові компоненти DQN: нейронну апроксимацію Q-функції, використання цільової мережі, буфера досвіду та механізмів стабілізації навчання. У роботі детально вивчено вплив стекування кадрів, n-крокових повернень та пріоритетного повторного відтворення досвіду на швидкість збіжності та кінцеву ефективність агентів. Проведено систематичний аналіз простору станів і дій, параметрів середовища VizDoom, а також чинників, що визначають складність навчання в умовах часткової спостережуваності та високої динаміки. Запропоновано експериментальну методику, що включає порівняння базового DQN з його модифікаціями за метриками середньої та мінімальної винагороди, стабільності та варіативності. Отримані результати демонструють суттєве покращення ефективності агентів при використанні комбінації вдосконалень, зокрема n-крокових повернень і пріоритетного досвіду, що забезпечують швидшу адаптаціюдо складних сценаріїв VizDoom. Робота робить внесок у практичне застосування глибокого навчання з підкріпленням у 3D-середовищах та може бути використана як основа для подальших досліджень алгоритмів навчання з підкріпленням у високодинамічних задачах.