AI-ML/LLM
2025. 8. 11.
LLM에서 Self-Attention, Multi-Head Attention, Causal-Attention, 및 Cross-Attention의 이해와 Code 해석
https://magazine.sebastianraschka.com/p/understanding-and-coding-self-attention 글 번역했습니다.이 게시글에서는 트랜스포머 아키텍처와 GPT-4, Llama와 같은 대규모 언어 모델(LLM)에서 사용되는 자기 주의 메커니즘에 대해 설명합니다. 자기 주의와 관련된 메커니즘은 LLM의 핵심 구성 요소로, 이러한 모델을 다루는 데 있어 이해하는 것이 유용한 주제입니다.그러나 단순히 자기 주의 메커니즘을 논의하는 대신, Python과 PyTorch를 사용하여 기본부터 코딩해 보겠습니다. 제 생각에 알고리즘, 모델, 기술을 기본부터 코딩하는 것은 학습에 매우 효과적인 방법입니다!참고로, 이 글은 옛 블로그에 게시한 "Understanding and C..
