유연한 강화학습 환경 구성을 위한 DEVS 기반 시뮬레이션 및 유니티-파이썬 통합 프레임워크

• 영문명: A DEVS-based Simulation and Unity-Python Integrated Framework for Flexible Reinforcement Learning Environment Configuration
• 발행기관: 한국시뮬레이션학회
• 저자명: 김진우(Jinwoo Kim) 함규식(Gyusik Ham) 김현기(Hyeon-Gi Kim) 최창범(Changbeom Choi) 장수영(Sooyoung Jang)
• 간행물 정보: 『한국시뮬레이션학회 논문지』제34권 제1호, 53~63쪽, 전체 11쪽
• 주제분류: 공학 > 기타공학
• 파일형태: PDF
• 발행일자: 2025.03.31

국문 초록

본 연구는 강화학습 알고리즘 적용 시 환경 설정, 에이전트 모델 변경, 보상 구조 수정 등에서 발생하는 유연성·확장성의 제약을 극복하기 위한 통합적 프레임워크를 제안한다. 이를 위해 이산사건 시스템 형식론을 기반으로 가상환경을 자동 생성하는 시뮬레이터를 활용하고, 유니티 엔진과 파이썬 서버를 연계하여 강화학습 알고리즘을 손쉽게 적용할 수 있는 구조를 구축하였다. 이러한 접근을 통해 사용자는 다양한 시나리오를 신속하게 구성할 수 있으며, 별도의 복잡한 설정 없이도 환경 및 알고리즘 교체가 가능하다. 실험에서는 파이썬 단독 환경과 유니티 연계 환경에서 동일한 강화학습 알고리즘을 이용해 학습하고 성능을 비교함으로써, 제안한 통합 프레임워크가 환경 구현 방식에 구애받지 않고 재현성 높은 실험 결과를 제공함을 확인하였다. 비록 유니티 연계 시 렌더링 및 통신 오버헤드로 인해 학습 시간이 증가하였으나, 실제적이고 시각적인 가상환경에서 강화학습 모델을 검증할 수 있는 장점을 제공한다. 이를 통해 향후 자율주행, 로봇 제어, 게임 AI 등 다양한 분야에서 실제 환경 검증 이전 단계로 활용 가능한 실용적이며 유연한 강화학습 실험 기반을 마련할 수 있을 것으로 기대된다.

영문 초록

This study proposes an integrated testbed designed to overcome the limitations in flexibility and scalability that arise when applying reinforcement learning algorithms—such as configuring environments, modifying agent models, and adjusting reward structures. To this end, we utilize a simulator capable of automatically generating virtual environments based on the Discrete Event System Specification (DEVS) and integrate the Unity engine with a Python server, thereby enabling the straightforward application of reinforcement learning algorithms. This approach allows users to rapidly configure various scenarios and replace environments or algorithms without complex adjustments. In the experiments, we trained the same reinforcement learning algorithm in both a stand- alone Python environment and a Unity-integrated environment to compare performance. The results confirm that the proposed testbed can provide reproducible experimental outcomes regardless of the environment implementation approach. While the Unity integration increased training time due to rendering and communication overhead, it offers the advantage of verifying reinforcement learning models in a more realistic and visually enriched virtual environment. Consequently, we anticipate that this practical and flexible testbed will be leveraged as a preliminary verification stage before real-world deployment in fields.

목차

1. 서론

2. 관련 연구

3. 제안 시스템

4. 통합 프레임워크 구현 및 실험

5. 결론

References

키워드

이산사건시스템 형식론 프로세스 자동화 3D 시뮬레이터 강화학습 Discrete Event System Specification (DEVS) process automation 3D simulator reinforcement learning