98

책 속 한 문장 또는 소감

01. LLM 지도 * 2013 워드투벡 → 2017 트랜스포머 → 2018 GPT-1 * 임베딩 : 데이터의 의미와 특징을 포착해 숫자료 표현한 것 * 전이학습 : 사전학습(Pre-training) → 미세조정(Fine-tuning) * 다운스트림 과제 : 사전학습 모델을 미세 조정해 풀고자 하는 과제 * 시퀀스 : 길이가 다양한 데이터의 형태 → 기존에는 RNN을 이용, 요즘은 transformer 활용 * 트랜스포머 : RNN의 순차적인 방식을 버리고, 맥락을 모두 참조하는 어텐션 연산을 사용해 RNN의 소멸 현상(Vanishing Gradient) 문제 해결 → 트랜스포머는 성능이 높지만 비효율적이고 RNN은 효율적이지만 성능이 낮다 ⇒ 맘바(Mamba)가 기대주! >> 언어 모델이 학습하는 과정은 학습 데이터를 압축하는 과정! (패턴추출) * sLLM (Small Large Language Model) : 특정 도메인 특화 LLM * LORA(Low Rank Adoption) : 효율적인 학습과 추론 * RAG(Retrieval Augmented Generation) : LLM의 환각 현상 대처 * 멀티모달(Multimodal) LLM : 이미지, 비디오, 오디오등 다양한 형식 입/출력 * 에이전트(Agent) : 계획을 세우거나 의사결정을 내리고 필요한 행동 수행

페이지

P.33 ~ P.58