해당 내용은 AI가 텍스트에서 이미지를 생성하는 방법을 다루고 있습니다. 설명을 위해 구글 연구원들이 새롭게 발표한 “Muse” 모델을 활용하며, 이전의 Dali 2, Imagine, Party, Stable 등의 모델들과 비교하여 Muse 모델이 더욱 빠르고 zero shot editing, musk-free editing, painting 등의 다양한 응용이 가능하다는 것을 소개하고 있습니다. 이를 위해 Google에서 개발한 T5 XXL 모델을 이용하여, 텍스트 인코더를 통해 4096 차원의 벡터 시퀀스를 얻고, 이를 다시 하나의 저차원 시퀀스로 축소합니다. 이후, 이미지 토큰과 텍스트 토큰을 모두 사용하는 교차 어텐션 방식을 사용하여 학습하고, 생성된 이미지를 다양한 응용에 사용하는 것을 보여줍니다.
─
원문 URL : https://www.youtube.com/watch?v=SA-v6Op2kL4
원문 제목 : Product Launch 2023 Keynote
