영상에서 Microsoft 선임연구원 Ava Amini는 시퀀스 모델링의 개념과 이것이 순차적 데이터를 처리하고 학습할 수 있는 신경망 구축과 어떻게 관련되는지 소개합니다. 그녀는 보다 정확한 예측을 위해 사전 정보를 통합하는 것의 중요성을 설명하기 위해 공의 궤적을 예측하는 간단한 예를 제공합니다. 그런 다음 Ava는 언어, 의학, 금융 및 기후 패턴과 같은 다양한 응용 프로그램에서 시퀀스가 어떻게 존재하는지 설명합니다. 그녀는 반복의 개념과 그것이 데이터 시퀀스를 처리할 수 있는 반복 신경망(RNN)을 구축하는 데 어떻게 사용될 수 있는지 분석합니다. Ava는 RNN 이면의 수학과 코드, 어떻게 숨겨진 상태를 업데이트하고 입력 벡터를 기반으로 예측을 생성하는지 설명합니다. 마지막으로 그녀는 순차 데이터를 처리하기 위한 또 다른 강력한 도구인 Transformer 아키텍처를 미리 봅니다.
─
원문 URL : https://www.youtube.com/watch?v=ySEx_Bqxvvo
원문 제목 : MIT 6.S191: Recurrent Neural Networks, Transformers, and Attention
