Scaling Language Modeling with Pathways

PaLM논문을 살펴보게 된 배경은 대용량 언어모델의 서비스 상용화가 ChatGPT의 출현으로 실현되었다.
이런 대용량 언어모델에 대한 서비스 방향성과 추론 및 학습을 위한 인프라 환경에 대한 이해를 하기 위하여
2022년 4월에 구글에서 발표한 PaLM논문을 리뷰해 보기로 한다.

사전 지식 공유

GPT부터 BERT까지 트랜스포머 유니버스
https://m.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS5215583920&cate_cd&fbclid=IwAR0cIekNVOZs2Nt6Z6RCgK2NlHx9VALGMiTf7RRv7QXfql3GhRD_P05nmt8

1> Pathways

2> Reasoning

LLMs are Zero-Shot Reasoners

Zero-Shot Learning

참고 링크

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (https://arxiv.org/abs/2201.11903)

https://jiho-ml.com/weekly-nlp-54/

https://wikidocs.net/31379

https://velog.io/@tobigs-nlp/PaLM-Scaling-Language-Modeling-with-Pathways-2

Large Language Models are Zero-Shot Reasoners (https://arxiv.org/abs/2205.11916)

https://velog.io/@nochesita/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Large-Language-Models-are-Zero-Shot-Reasoners

https://deep-learning-study.tistory.com/873

A Review of Generalized Zero-Shot Learning Methods (https://arxiv.org/abs/2011.08641)

https://www.blossominkyung.com/deeplearning/transformer-mha