로그라이크 게임에서의 머신러닝 에이전트에 관한 연구

• 영문명: A Research on Machine Learning Agent in Rogue-like game
• 발행기관: 한국컴퓨터게임학회
• 저자명: 김세연(Se Yeon KIM) 김무집(Mu Jip KIM) 김석규(Seok-Kyoo KIM)
• 간행물 정보: 『한국컴퓨터게임학회논문지』제37권 1호, 33~39쪽, 전체 7쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2024.03.30

국문 초록

실제세계에서 데이터 수집의 비용과 한계를 고려할 때, 시뮬레이션 생성 환경은 데이터 생성과 다양한 시도에 있어 효율적인 대안이다. 이 연구에서는 Unity ML Agent를 로그라이크 장르에 적합한 강화학습 모델로 구현하였다. 간단한 게임에Agent를 이식하고, 이 Agent가 적을인식하고 대응하는 과정을 코드로 작성하였다. 초기 모델은 조준사격의 한계를 보였으나RayPerceptionSensor-Component2D를 통해 Agent의 센서 정보를 직접 제공함으로써, Agent가 적을 감지하고 조준 사격을 하는 능력을 관찰할 수 있었다. 결과적으로, 개선된 모델은 평균3.81배 향상된 성능을 보여주었으며, 이는 Unity ML Agent가 로그라이크 장르에서강화학습을 통한 데이터 수집이 가능함을 입증한다.

영문 초록

Collecting large amounts of data in the real world is expensive and has clear limitations. Simulation-generated environments, on the other hand, offer the opportunity to efficiently generate the necessary data and to try different things easily and quickly. In this research, we utilized one of the tools that addresses these challenges, by the Unity Machine Learning tool, to study an efficient automation model that responds to the characteristics of the rogue-like genre. For testing purposes, we implemented a simple game, implanted an agent into the main character of the game, and fed the agent with code to shoot and avoid hostile. The implemented ML Agent successfully recognized the hostile targets and responded by shooting and dodging them. However, instead of learning to prioritize the hostile targets over time by reinforcing itself and shooting the high-risk targets first, it consistently fired in only one of the 360-degree directions given to it at the beginning, which we didn’t expected, so we improved the code. By utilizing the RayPerceptionSensor-Component2D element to directly feed the agent's sensors with information about hostile targets, we found that the agent was able to utilize its ray sensor to detect them and make much more precise aimed shots. In fact, it outperformed the original model by an average of 3.81x, proving that Unity ML Agentcan collect data through reinforcement learning in the roguelike genre.

목차

1. Introduction

2. Related Research

3. Environment Implement

4. Conclusion

Reference

키워드

Unity Machine Learning Unity ML Agent Rogue-like