반응형 라마21 라마 2(Llama 2): 메타의 AI 언어 모델 메타의 AI 그룹에서 개발한 대규모 언어 모델인 '라마 2(Llama 2)'에 대해 자세히 알아보겠습니다. 라마 2는 페이스북 모회사인 메타가 개발한 언어 모델로, 다양한 규모의 매개변수를 가진 3가지 모델로 제공됩니다. 이 모델은 사전 학습과 미세 조정을 통해 구축되었으며, 메타는 라마 2 챗 LLM을 대화 사용 사례에 최적화했다고 주장합니다. 라마 2는 구글의 트랜스포머 아키텍처를 기반으로 하며, 여러 기술적 개선을 포함하고 있습니다. 라마 2의 기술적 특징 라마 2는 GPT-3와 비교하여 다음과 같은 기술적 개선을 포함하고 있습니다: RMSNorm 사전 정규화: GPT-3를 본뜬 정규화 기술로서, 모델의 성능을 향상시키는 데 사용됩니다. SwiGLU 활성화 함수: 구글의 PaLM에서 영감을 얻은 활.. 2023. 9. 26. 이전 1 다음 반응형
