Play vedio

DDC.mp4

Interview vedio

https://youtu.be/KNddXgXGRHM

Problem definition

• 문제 정의 및 MDP 세팅에 대한 자세한 내용은 대회 소개 페이지를 참고하시기 바랍니다.

  2021_RLKR_Drone_Delivery_Challenge_with_Unity/rl_village_info.md at master · reinforcement-learning-kr/2021_RLKR_Drone_Delivery_Challenge_with_Unity

Hierarchical problem solving

• 모든 정보를 에이전트에게 주고 강화학습으로 end-to-end 학습시키는 것은 비효율적으로 판단
• task를 나눠서 진행
  1. 다음 목적지 계산 (Rule based)
  2. 물품 배달 (강화학습을 통한 드론 조종)
  3. 배달 완료 까지 1~2 반복

State processing

Visual observation

• visual observation는 모델 학습 수렴 속도가 느려지고, vector observation 만으로도 문제를 해결할 수 있을 것 같아서 사용하지 않음

Vector observation

• 직접 값을 찍어보면서 모델이 학습하기 쉬운 방향으로 전처리를 진행
• 중복되는 정보, 불필요한 정보가 많아서 최대한 컴팩트한 정보만 남기고 나머지는 제외

전처리 및 사용 여부 정리

• 사용 여부란 모델의 입력으로 사용할지 여부를 의미

• raw vector observation의 속성 별로 정리

  배송할 집의 택배 배달 위치의 좌표

  • 3곳의 정보를 모두 주면 에이전트가 어디로 가야할 지 모호하다고 판단
  • Hierarchical problem solving에서 얘기한대로 다음 목적지 정보만 빼고 나머지 목적지는 제외
  • 목적지의 절대 위치는 좋은 정보가 아니라고 판단
  • (드론의 위치 - 목적지의 위치) 벡터를 사용

  agent의 좌표

  • agent 좌표를 넣음으로써 특정 위험한 구역을 학습할 수 있을 거라고 생각
  • 특히 드론이 목적지에 배달할 때 땅에 부딪히는 경우가 있는데 agent 의 y좌표가 이를 완화시켜줄 것이라고 생각
  • 따라서 agent의 좌표를 사용

  agent의 velocity

  • 필요한 정보라 생각하여 그대로 사용

  agent의 angularVelocity

  • 필요한 정보라 생각하여 그대로 사용

  진행률(%)

  • Hierarchical problem solving 접근 방식 때문에 진행률 정보는 필요하지 않을 것으로 판단.
  • 사용 X

  수평방향 Raycast

  • raycast 정보는 탐지 여부, 탐지 위치와의 거리로 구성돼 있음
    • 물체가 탐지 됐을 때
      • 탐지 여부 정보 값은 0
      • 탐지 위치와의 거리는 x (1보다 작아질 수 있음)로 값이 출력
    • 물체가 탐지되지 않았을 때
      • 탐지 여부 정보 값은 1
      • 탐지 위치와의 거리는 1로 값이 출력
  • 그대로 사용하면 모델이 이해하기 어려울 거라고 판단 → 위험도를 의미하도록 전처리 진행

    • 물체 탐지 여부 정보와 탐지 위치와의 거리 정보를 합치기로 함

    • 다음 수식을 통해 물체가 탐지되지 않으면 0, 탐지되면 물체와의 거리가 가까워지면 값이 높아지도록 전처리 진행

      ray_processing = lambda x: (1 - x[::2]) * (2 / np.clip(x[1::2], 0.1, None))
      

  수직방향 Raycast

  • 수평 방향 raycast 와 같은 전처리 진행하여 사용

  위 아래 Raycast

  • 이미 수평방향 Raycast, 수직방향 Raycast에 해당 정보가 포함돼있어서 사용 X
  • 수평방향 Raycast, 수직방향 Raycast 에도 중복되는 두 ray가 존재하지만 제외 식이 복잡할것 같아서 처리하지 않고 중복해서 사용

최종 State 정보