GAN은 생성기(Generator)와 판별기(Discriminator)라는 두 개의 알고리즘이 경쟁하면서 개선되도록 설계한 모델이다. 생성기는 위조 예술품을 만드는 위조범과 비슷하다. 실제와 구별할 수 없는 이미지(또는 다른 유형의 데이터)를 생성하려고 시도한다. 생성기는 아주 처음에 무작위로 아무런 의미가 없는 숫자나 패턴, 즉 ‘노이즈’라고 부르는 랜덤 데이터를 입력받는다. 이 노이즈는 혼란스러운 데이터지만 생성기는 이 데이터를 조금씩 변형하면서 판별기로부터 진짜인지 가짜인지 피드백을 받는다.
머리말_“기술이 예술이 되는 생성형 인공지능” 중에서
생성 모델의 원리는 ‘잠재 공간(latent space)’이라 불리는 고차원 공간에서 이루어진다. 이 공간은 수많은 데이터 속에서 패턴을 발견하고, 이를 기반으로 새로운 이미지를 생성하는 과정에서 중요한 역할을 한다. 생성 모델은 특정한 잠재 벡터를 선택해, 새로운 결과물을 만들어내며, 이는 기존 데이터와는 다른, 그러나 유사한 특성을 지닌 창작물을 탄생시킨다
01_“생성 모델의 변화” 중에서
오토인코더(Autoencoder)는 신경망의 일종이다. 입력 데이터를 기계가 학습하고 활용할 수 있는 표현 방식으로 변환한다. 이것이 인코딩이다. 인코딩한 데이터가 있는 공간이 잠재 공간인데, 데이터의 복잡한 구조를 기계가 이해할 수 있게 단순하고 유의미한 형태로 표현한다. 이 공간이 핵심 정보를 담아내는 곳이다
02_“생성 모델과 예술의 만남” 중에서
인공지능이 안전한 방식으로 동작하도록 안내하는 새로운 접근 방식이 RBR 시스템이다. 기존의 강화학습 기반의 언어 모델은 인간의 의견을 반영하여 미세 조정하여 개발했다. 즉 인간 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback: RLHF) 모델이다. RLHF는 인공지능을 개선하는 데 더욱 안전한 인공지능을 만들기 위해 인간의 피드백을 모델 개선 방법으로 사용했다. 그러나 RLHF 모델은 지속적인 반복 작업으로 인간의 피드백을 수집해야 한다. 과거에 수집한 피드백이 새로운 안전 기준에 맞지 않거나 안전 정책이 바뀌면 이미 수집한 피드백이 유효하지 않게 되는 한계도 있다.
5장_ “시각 예술 생성 기술” 중에서
이안 굿펠로(Ian Goodfellow)가 제안한 생성형 인공지능의 선구 모델 GAN은 서로 대립적인 두 네트워크가 지속적으로 서로를 개선시키는 방식으로 학습한다. 이로써 매우 창의적이고 사실적인 이미지를 생성할 수 있는 능력을 갖게 된다. 이렇게 생성한 정지 영상에서 시간 개념을 더하면 동영상이 된다. 1초에 30장의 정지 영상을 보여 주면 1초의 동영상을 만든다. 동영상은 시간의 흐름에 따라 만들어지는 시간 예술이다. 그렇게 만들어진 시간 예술의 원천 데이터를 시계열 데이터라고 할 수 있다.
7장_ “영화 예술 생성 기술” 중에서
가상 아티스트 아이바(AIVA: Artificial Intelligence Virtual Artist)는 상업용 음악 생성에 특화된 인공지능이다. 작곡가와 협업하여 새로운 음악을 만든다. 웹 기반 인터페이스를 통해 사용자가 직접 작곡 요청을 하면 인공지능이 자동으로 음악을 생성하는 것이다. 아이바 웹사이트(https://www.aiva.ai)에 접속하여 계정을 생성한 후 지침 사항에 따라 생성 음악을 만든다. 트랙별로 음악을 생성하는데 각 스타일을 설계할 수 있다. 트랙을 수정하고 기존의 트랙과 혼합하여 음악을 생성하는 것도 가능하다. 무료 계정으로 음악 생성 서비스 경험이 가능하지만 15유로(약 2만2300원), 49유로(약 7만2700원)의 월 결제 서비스를 선택하면 더 많은 생성 음악 퍼포먼스를 경험할 수 있다.
9장_ “생성 모델 작품 생성 방법” 중에서
생성형 AI는 그를 이용해 새로운 콘텐츠를 생성(결과물)하는 데만 집중한다. 어떤 모델을 적용했는가, 그 모델이 의미하는 것은 무엇인가는 중요하지 않다. 반면 AI 생성 모델을 직간접으로 이용해 나오는 결과물은 과정이 중요하다. 의도가 무엇이고 무엇을 표현하고자 한 것인지에 따라 결과물이 달라지기 때문이다. 단순하게는 생성물 중심이냐, 알고리즘 중심이냐로 표현할 수 있다.
10장_ “AI 생성 모델 예술 대 생성형 AI 예술” 중에서
