문. 인공지능 전이학습과 응용분야 동향

문. 인공지능 전이학습과 응용분야 동향

   (2020년 주간기술동향 “인공지능 전이학습과 응용분야 동향” 참고)

답.

1. 경량 딥러닝 연구 개념

  - 경량 딥러닝 연구는 기존 클라우드 기반의 학습된 모델을 경량 장치에 내장하기 위한 필수 기술

  - 지연시간 감소, 민감한 개인정보보호, 네트워크 트래픽 감소

2. 경량 딥러닝 연구 동향

  가. 경량 알고리즘 연구

  - 알고리즘 자체를 적은 연산과 효율적인 구조로 설계하여 기존 모델대비 효율을 극대화

  나. 경량 알고리즘 연구동향

구 분	설     명
모델구조 변경	- CNN계열의 모델에서 큰 연산량을 요구하는 합성곱 필터의 단순화 목적 - 다양한 신규 계층(잔여블록, 병목구조, 밀집블록 등)을 이용하여 파라미터 축소 및 모델 개선
합성곱필터 변경	- 합성곱 필터의 연산을 효율적으로 줄이는 연구
자동모델 탐색	- 특정 요소(지연시간, 에너지 소모 등)가 주어진 경우 강화학습을 통해 최적모델을 자동 탐색

  다. 알고리즘 경량화 연구

  - 모델이 표현하는 다양한 파라미터의 크기를 줄이는데 목적

구 분	설     명
가중치 가지치기	- 과파라미터화된 딥러닝 모델에서 가중치의 값이 작으면 모두 0으로 설정
양자화	- 일반적인 모델은 부동소수점 - 이를 일정 비트 수로 줄이는 양자화
이진화	- 0과 1로 표현하여 모델 저장 크기 감소
전이학습	- 이미 학습된 모델을 통해 새로운 모델 생성 시 학습된 결과를 옮겨서 학습/훈련시간 단축
하드웨어 가속화	- 뉴럴 프로세싱 유닛 도입 -> 추론 속도 증가
모델 압축 자동 탐색	- 일반적인 모델 압축 기법을 적용한 강화학습기반의 최적 모델 자동 탐색 연구

3. 전이학습 개념

  - 해결하고자하는 문제에는 정답이 소량만 존재, 해결하고자하는 문제와 비슷한 문제에는 정답이 대량 존재 시 사용.

  - 지도학습의 일종임.

  - 예시) 골프 학습데이터를 야구 학습에 적용

4. 전이학습 개념도 및 특징

  가. 개념도

  - 기존에 학습된 모델의 하위층(Lower Layer)를 그대로 재사용하여 학습속도 증가

  나. 특징

특 징	설     명
성능 증가	- 학습속도 증가, 필요 훈련셋 감소
최종 layer 학습	- 새로 학습할 데이터의 양이 적으므로 최종 분류기층을 학습함.
성능 입증	- 기존에 신뢰성 있는 CNN모델을 사용 - 성능 입증 신뢰도 증가

5. 전이학습 응용분야

응용 분야	설     명
자율주행차	- 현대차 도메인 전이학습 - 무단횡단, 역주행 대처
의료분야	- 특정 뇌질환 의료영상 분석
자연어처리	- 프랑스어 해독 능력을 영어 해독 능력 적용 - BERT, GPT2
로보틱스	- 초기학습 단계의 과적합 모델 구조로 다른 환경에서 적용이 어려움(학습한계 존재) - 로봇간에 지식 전이를 통한 학습효율 증가