강화학습을 이용한 이종 장비 토목 공정 계획

• 영문명: Earthwork Planning via Reinforcement Learning with Heterogeneous Construction Equipment
• 발행기관: 한국시뮬레이션학회
• 저자명: 지민기(Min-Gi Ji) 박준건(Jun-Keon Park) 김도형(Do-Hyeong Kim) 정요한(Yo-Han Jung) 박진규(Jin-Kyoo Park) 문일철(Il-Chul Moon)
• 간행물 정보: 『한국시뮬레이션학회 논문지』제27권 제1호, 1~13쪽, 전체 13쪽
• 주제분류: 공학 > 기타공학
• 파일형태: PDF
• 발행일자: 2018.03.30

국문 초록

토목 공정 계획은 건설 공정 관리에서 중요한 과제 중 하나이다. 수학적 방법론에 기반을 둔 최적화 기법, 휴리스틱에 기반을 둔 최적화 기법 그리고 행위자 기반의 시뮬레이션 등의 방법론이 건설 공정 관리를 위해 적용되어왔다. 본 연구에서는 가상의 토목 공정 환경을 개발하고, 가상의 토목 공정 환경에서 강화학습을 이용한 시뮬레이션을 통해 토목 공정의 최적 경로를 찾는 방법을 제안하였다. 강화학습에 있어 본 연구에서는 상호작용 하며 서로 다른 행동을 하는 굴삭기와 트럭 에이전트들에 대해 순차적 학습과 독립적 학습에 기반을 둔 두 가지의 Markov decision process (MDP)를 사용하였다. 가상의 토목 공정 환경에서 두 가지 방법 모두 최적에 가까운 토목 공정 계획을 만들어 낼 수 있음을 시뮬레이션 결과에 따라 알 수 있었으며, 이 계획은 건설 자동화의 기초가 될 수 있을 것이다.

영문 초록

Earthwork planning is one of the critical issues in a construction process management. For the construction process management, there are some different approaches such as optimizing construction with either mathematical methodologies or heuristics with simulations. This paper propose a simulated earthwork scenario and an optimal path for the simulation using a reinforcement learning. For reinforcement learning, we use two different Markov decision process, or MDP, formulations with interacting excavator agent and truck agent, sequenced learning, and independent learning. The simulation result shows that two different formulations can reach the optimal planning for a simulated earthwork scenario. This planning could be a basis for an automatic construction management.

목차

1. 서론

2. 관련 연구

3. 방법론

4. 실험 결과

5. 결론

References

키워드

토목 공정 계획 강화학습 마르코브 결정 프로세스 다중 에이전트 학습 Earthwork Planning Reinforcement Learning Markov Decision Process(MDP) Multi-Agent Learning