Scaling Language Modeling with Pathways PaLM논문을 살펴보게 된 배경은 대용량 언어모델의 서비스 상용화가 ChatGPT의 출현으로 실현되었다. 이런 대용량 언어모델에 대한 서비스 방향성과 추론 및 학습을 위한 인프라 환경에 대한 이해를 하기 위하여2022년 4월에 구글에서 발표한 PaLM논문을 리뷰해 보기로 한다. 사전 지식 공유 GPT부터 BERT까지 트랜스포머 유니버스https://m.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS5215583920&cate_cd&fbclid=IwAR0cIekNVOZs2Nt6Z6RCgK2NlHx9VALGMiTf7RRv7QXfql3GhRD_P05nmt8 1> Pathways 2> Reasoning LLMs are Zero-Shot Reasoners Zero-Shot […]