게임 환경에서 강화학습을 이용한 드론의 자세 제어

• 영문명: Drone Attitude Control Method in Game Environment Using Reinforcement Learning
• 발행기관: 한국전자통신학회
• 저자명: 박상현(Sang-Hyun Park)
• 간행물 정보: 『한국전자통신학회 논문지』제20권 제5호, 959~966쪽, 전체 8쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2025.10.30

국문 초록

본 연구는 유니티 게임 엔진 환경에서 드론의 자연스러운 자세 제어 방법을 제안한다. 드론은 이동 방향으로 기울어지는 특성과 정지 상태에서 미세하게 흔들리는 특성을 가지고 있다. 제안하는 방법에서는 기존의 드론 모델의 자세를 제어하기 위해 추가적으로 자세 제어 모델을 구성하며, 자세 제어 모델은 원형 판과 구체로 구성되는 간단한 형태를 가진다. 이동할 때와 정지할 때를 구분하여 자세 제어 모델의 회전값을 결정하며, 결정된 회전값을 드론에 적용하여 자세를 제어한다. 드론이 이동할 때는 진행 방향에 대한 회전축을 계산하고 진행 거리에 맞게 드론의 기울어짐을 설정한다. 정지 상태에서는 강화학습을 이용하여 자세 제어 모델의 구가 원판 중앙으로 이동하도록 조절하고 이때의 회전값을 드론에 적용하여 드론의 미세한 흔들림을 표현한다. 강화학습에 대한 실험 결과를 보면 제안하는 방법이 드론의 자세 제어를 위한 학습을 안정적으로 수행하는 것을 보여준다.

영문 초록

In this study, we proposes a realistic attitude control method for drones in Unity game engine environments. Drones have characteristics of tilting in the direction of movement and subtle oscillation when stationary. Our methodology incorporates an auxiliary attitude control model comprising a simple circular plate and a sphere to regulate the rotation of existing drone models. The rotation values of the attitude control model are determined by distinguishing between movement and stationary states, and the determined rotation values are applied to the drone. When the drone is moving, the rotation axis for the direction of movement is calculated and the drone is tilted according to the distance moved. In the stationary state, reinforcement learning is used to adjust the sphere of the attitude control model to move toward the center of the plate, and the resulting rotation values are applied to the drone to express subtle oscillations. Experimental results on reinforcement learning show that the proposed method reliably performs learning for drone attitude control.

목차

Ⅰ. 서 론

Ⅱ. 관련 연구

Ⅲ. 제안하는 자세 제어 방법

Ⅳ. 실험 결과

Ⅴ. 결 론

References

키워드

강화학습 유니티 엔진 ML-Agents 툴킷 Proximal Policy Optimization Reinforcement learning Unity engine ML-Agents Toolkit