All of AI

Appearance

Lecture 16. 비전/언어/오디오 문제의 구조 ​

개요 ​

핵심 질문

  • 비전·언어·오디오 문제는 각각 어떤 구조적 특성을 갖는가?
  • 세 도메인의 데이터 표현 방식은 어떻게 다른가?
  • 도메인이 달라도 공통적으로 적용되는 추상 구조는 무엇인가?
  • 각 도메인에서 딥러닝이 어떻게 적용되는가?

학습 목표

  • 비전 문제를 픽셀·특성 맵·공간 구조 관점에서 설명할 수 있다.
  • 언어 문제를 토큰 시퀀스·장기 의존성·문맥 관점에서 이해한다.
  • 오디오 데이터를 시간 축과 주파수 축 두 관점에서 표현할 수 있다.
  • 세 도메인에서 공통적으로 나타나는 추상 구조(인코더-디코더, 어텐션)를 파악한다.

핵심 개념 ​

1. 시각 문제의 공통 구조 ​

데이터 표현

이미지는 픽셀의 2차원 격자다. 채널(RGB)을 포함하면 3차원 텐서로 표현된다.

I∈RH×W×C \mathbf{I} \in \mathbb{R}^{H \times W \times C}

  • HH: 높이, WW: 너비, CC: 채널 수 (RGB = 3)
  • 동영상: RT×H×W×C\mathbb{R}^{T \times H \times W \times C} (4D 텐서)

구조적 가정

  • 지역성: 의미 있는 패턴은 지역적으로 나타남 → 합성곱 연산
  • 이동 불변성: 물체는 이미지 어느 위치에 있어도 동일하게 인식 → 필터 공유
  • 계층적 표현: 저수준(에지·질감) → 중수준(모양) → 고수준(객체) 순으로 추상화

주요 시각 태스크

CNN → ViT 전환

  • CNN: 지역 패턴·파라미터 공유의 귀납적 편향 → 적은 데이터에서 강점
  • Vision Transformer (ViT): 이미지를 패치(Patch) 시퀀스로 분할 후 Transformer 적용 → 전역 관계 포착

xp∈RN×(P2⋅C),N=HWP2 \mathbf{x}_p \in \mathbb{R}^{N \times (P^2 \cdot C)}, \quad N = \frac{HW}{P^2}

P×PP \times P 크기의 패치 NN개를 토큰으로 변환 → 언어 모델과 동일한 구조 적용 가능.

2. 언어 문제의 시퀀스적 특성 ​

데이터 표현

텍스트는 이산적(discrete) 토큰의 시퀀스다.

x=(x1,x2,…,xT),xt∈V \mathbf{x} = (x_1, x_2, \ldots, x_T), \quad x_t \in \mathcal{V}

  • V\mathcal{V}: 어휘 사전 (Vocabulary), 수만~수십만 크기
  • 토큰화(Tokenization): 문자열 → 정수 인덱스 시퀀스

구조적 특성

  • 순서 의존성: 같은 단어도 위치에 따라 의미가 달라짐
  • 장기 의존성: "나는 프랑스에서 태어났다. ... 나는 __ 를 잘 한다" → 앞의 정보가 멀리서 필요
  • 가변 길이: 문장마다 길이가 다름 → 고정 크기 입력에 맞게 처리 필요

주요 언어 태스크

태스크입력 → 출력예시
텍스트 분류시퀀스 → 레이블감성 분석, 스팸 분류
시퀀스 레이블링시퀀스 → 시퀀스개체명 인식(NER), 품사 태깅
Seq2Seq시퀀스 → 시퀀스 (다른 길이)번역, 요약
언어 모델링시퀀스 → 다음 토큰 확률GPT, LLM
질의응답질문+문맥 → 답변BERT, RAG

N-그램 → RNN → Transformer 전환 요약

3. 오디오 데이터의 시간·주파수 관점 ​

데이터 표현

오디오는 시간 축을 따라 진동하는 연속 신호다.

a={a(t)}t=0T,a(t)∈R \mathbf{a} = \{a(t)\}_{t=0}^{T}, \quad a(t) \in \mathbb{R}

일반적으로 초당 16,000~44,100 샘플로 디지털화된다.

두 가지 관점

스펙트로그램 (Spectrogram)

단시간 푸리에 변환(STFT)으로 시간-주파수 2D 표현을 얻는다:

S(t,f)=∣∑τa(τ)w(τ−t)e−j2πfτ∣2 S(t, f) = \left| \sum_{\tau} a(\tau) w(\tau - t) e^{-j2\pi f\tau} \right|^2

  • 가로 축: 시간, 세로 축: 주파수
  • 2D 이미지 형태 → CNN으로 처리 가능

멜 스펙트로그램 (Mel Spectrogram)

인간의 청각이 저주파에 민감한 특성을 반영한 비선형 주파수 스케일:

m=2595log⁡10(1+f700) m = 2595 \log_{10}\left(1 + \frac{f}{700}\right)

주요 오디오 태스크

태스크설명
음성 인식 (ASR)오디오 → 텍스트
화자 인식누가 말하는지 식별
음악 장르 분류오디오 → 레이블
음성 합성 (TTS)텍스트 → 오디오
소리 이벤트 탐지특정 소리 발생 시점 탐지

4. 도메인이 달라도 공통되는 추상 구조 ​

세 도메인은 표면적으로 달라 보이지만, 추상화하면 동일한 수학적 구조로 수렴한다.

공통 구조 1: 입력 → 토큰/패치 → 시퀀스

도메인원시 데이터토큰화
이미지H×W×CH \times W \times C 픽셀 배열NN개 패치 시퀀스 (ViT)
텍스트문자열단어/서브워드 토큰 시퀀스
오디오파형 시계열스펙트로그램 패치 또는 파형 세그먼트

모두 고정 크기 벡터의 시퀀스로 변환된다. Transformer는 이 공통 형식에 그대로 적용된다.

공통 구조 2: 인코더–디코더 패러다임

  • 이미지 분할: CNN 인코더 + 업샘플링 디코더 (U-Net)
  • 기계 번역: Transformer 인코더 + Transformer 디코더
  • 음성 인식: CNN/Transformer 인코더 + CTC/Seq2Seq 디코더

공통 구조 3: 어텐션 메커니즘의 범용성

Attention(Q,K,V)=softmax(QK⊤dk)V \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

  • 이미지에서: 패치 간 관계 → Self-Attention (ViT)
  • 텍스트에서: 토큰 간 관계 → Self-Attention (BERT, GPT)
  • 오디오에서: 프레임 간 관계 → Wav2Vec 2.0, Whisper

공통 구조 4: 멀티모달 확장

세 도메인을 동일한 임베딩 공간으로 투영하면 도메인을 넘나드는 모델 구성 가능:

  • CLIP: 이미지 + 텍스트 공동 임베딩 공간
  • Whisper: 오디오 + 텍스트 (음성 인식)
  • GPT-4V: 이미지 + 텍스트 통합 처리

수식 ​

이미지 텐서 표현

I∈RH×W×C \mathbf{I} \in \mathbb{R}^{H \times W \times C}

ViT 패치 토큰화

z0=[xcls; xp1E; xp2E;…;xpNE]+Epos \mathbf{z}_0 = [\mathbf{x}_{\text{cls}}; \, \mathbf{x}_p^1 E; \, \mathbf{x}_p^2 E; \ldots; \mathbf{x}_p^N E] + \mathbf{E}_{\text{pos}}

  • E∈R(P2C)×DE \in \mathbb{R}^{(P^2 C) \times D}: 패치 임베딩 행렬
  • Epos\mathbf{E}_{\text{pos}}: 위치 인코딩

합성곱 출력 크기

O=(N+2P)−FS+1 O = \frac{(N + 2P) - F}{S} + 1

STFT 스펙트로그램

S(t,f)=∣∑τa(τ)w(τ−t)e−j2πfτ∣2 S(t, f) = \left| \sum_\tau a(\tau) w(\tau - t) e^{-j2\pi f\tau} \right|^2

멜 스케일 변환

m(f)=2595log⁡10(1+f700) m(f) = 2595 \log_{10}\left(1 + \frac{f}{700}\right)

시각화 ​

세 도메인의 데이터 구조 비교

직관적 이해 ​

이미지는 공간에 펼쳐진 정보다. 픽셀 하나하나보다 인접한 픽셀들의 패턴이 의미를 만든다. 그래서 CNN이 지역 패턴을 먼저 보고, 점점 더 넓은 영역의 패턴으로 계층을 쌓는다.

텍스트는 시간 순서로 흐르는 의미다. 단어 하나가 앞뒤 문맥에 따라 전혀 다른 의미를 가지며, 멀리 떨어진 단어끼리도 연결된다. 어텐션이 이 장거리 관계를 한 번에 포착한다.

오디오는 시간과 주파수 두 축을 동시에 가진 신호다. 파형 그대로 처리하거나, 스펙트로그램으로 변환해 이미지처럼 다룰 수 있다.

세 도메인이 다르게 보이지만, Transformer 앞에서는 모두 패치/토큰의 시퀀스가 된다. 이것이 멀티모달 AI의 기반이다.

참고 ​