5부 퀴즈. 언어
0 / 12 문제 맞힘
단어 단위·글자 단위 토큰화의 문제와 서브워드(BPE)의 원리는?
LLM이 철자 세기에 약하고 한국어에서 비용 손해를 보는 현상을 토큰화로 설명하라.
토큰 번호를 그대로 신경망에 넣으면 안 되는 이유와 임베딩의 해법은?
임베딩 공간에서 '거리는 유사도, 방향은 관계'라는 말을 예로 설명하라.
RNN의 두 벽을 말하고, 둘의 공통 원인을 짚어라.
어텐션의 세 단계를 쿼리·키·밸류로 설명하라.
어텐션이 RNN의 두 벽을 무너뜨린 방식과, 그 대가는?
위치 인코딩이 필요한 이유를 가중 평균의 성질로 설명하라.
Transformer 블록의 두 하위 층과 각각의 역할, 그리고 감겨 있는 두 무기는?
BERT류·GPT류·인코더-디코더의 차이는 무엇 하나로 결정되는가?
인과 마스크가 '천 토큰 문장 = 천 개의 병렬 학습 문제'를 가능하게 하는 이유는?
이 책의 부품으로 GPT를 한 문장에 정의하라.