2화. 머신러닝을 더 쉽게, 그리고 재미있게 배우는 방법(feat. AWS DeepRacer)

○ AWS의 DeepRacer는 장난감 경주 자동차에 자율주행 알고리즘을 학습시켜, 흥미롭고 재미있는 방식으로 머신러닝을 경험할 수 있는 프로그램

• DeepRacer는 강화학습 모델링을 통해 복잡한 트랙을 최적화된 주행 경로로 학습
  
  - 인공지능의 큰 범주 안에 머신러닝이 포함되고, 머신러닝은 크게 지도학습(supervised learning), 비지도학습(unsupervised learning)², 강화학습(reinforcement learning)으로 나뉨
  
  - 이들 중 강화학습은 무작위로 행동을 선택함에 따라 그에 따른 보상이나 벌점을 부여함으로써 최적화된(가장 높은 보상을 받는) 경로를 학습하는 방식. 예를 들면 바둑을 둘 때, A라는 위치에 두면 +5점, B라는 위치에 두면 +2점, C라는 위치에 두면 -10 등의 보상/벌점을 제공하여 알고리즘이 A를 선택하게 하는 것.
  
  - DeepRacer 프로그램은 ①강화학습을 위한 각종 파라메터(핸들 조향각, 속도, 학습횟수 등) 설정 → ②할당된 시간만큼 반복 학습 → ③학습을 통해 생성된 모델을 평가 → ④가상(또는 실제) 레이스에 참가하는 순서

• 강화학습은 AWS DeepRacer 전용 웹페이지를 통해 진행되며, 입력항목에도 디폴트 값이 적용되어 있어 이론적인 지식이나 코딩을 할 줄 모르더라도 쉽게 접근할 수 있음
  
  - 물론 더 나은 기록을 위해서는 세부적인 하이퍼파라메터(Hyperparameter)³를 변경하거나, 보상이나 벌점을 설정하는 보상함수(Reward Function) 프로그램 코드를 수정해야 함
  
  - 학습된 주행 결과를 확인할 때에는 가상 서킷 시뮬레이션을 통해 성능 측정이 가능하고, DeepRacer 자동차⁴를 이용한 실제 트랙 시연도 가능

• 전문적인 머신러닝 지식이 없더라도 쉽게 경험할 수 있고, 클릭 몇 번으로 누구나 간단하게 「설정→학습→평가」가 가능하다는 점에서 ‘머신러닝을 더 쉽게, 그리고 재미있게 배울 수 있다’라는 장점
  
  - 참가자의 성적(모델링의 결과)을 즉각적으로 알 수 있기 때문에 경쟁심리와 성취욕구를 자극하여 프로그램에 더 깊이 몰입할 수 있도록 동기를 부여

○ 미국 최대 규모의 은행인 JP모건(JP Morgan)은 직원들이 재미있는 방식으로 클라우드와 머신러닝 기술을 경험하고 역량을 향상시킬 수 있도록 AWS DeepRacer 프로그램을 적극 도입

• JP모건은 디지털 전환을 본격화 하면서 클라우드와 머신러닝 등의 새로운 기술에 대한 직원들의 업스킬, 리스킬에 대해 고민이 있었고, 이에 대한 해법으로 AWS DeepRacer를 선택
  
  - DeepRacer의 효율적 주행을 설계하는 과정에서 참가자들은 머신러닝은 물론 AWS 클라우드, 파이썬 프로그래밍, 데이터 분석 등을 다양하게 경험
  
  - 또한 참가자들 스스로 클라우드 비용 최적화 전략을 구상하거나 로그 데이터를 시각화하는 도구를 직접 개발하는 등 능동적인 활동들이 더해짐으로써 프로그램이 더욱 발전

• JP모건의 DeepRacer 학습 프로그램은 내부 동료 혹은, 외부의 기업, 대학들과 경쟁하며 즐거운 방식으로 직원들의 역량을 향상시키도록 설계
  
  - JP모건이 2018년 시카고에서 처음 도입했을 당시에는 100여명의 직원들만이 참가했으나, 2022년에 이르러서는 22개 도시에서 5,000명 이상(최근 3년 누적) 직원들이 참가
  
  - JP모건은 그룹 내 교육 커리큘럼을 이수하고, 일정한 랩 타임을 획득한 참여자에게는 자격을 증명하는 ‘JPMC DeepRacer License’를 발급하며 참여를 독려
  
  - 이러한 큰 관심속에 전 세계 150개국 8만명 이상이 참가한 2021년 AWS DeepRacer Championship Cup에서 JP모건 직원들은 1위와 2위, 그리고 7위를 차지