Deep Learning Research Group
Deep Learning For Search Large Scale Language Model(LLM)의 출현은 기존의 검색 엔진 구조의 점진적 개선을 뛰어넘는또 다른 차원의 길을 제시해주었다. 기존 검색엔진의 구조를 보면 알겠지만 기존 검색엔진에서 중요한 부분인 바로 Ranking부분과기존 문서에 대한 크롤링을 통한 수집과 indexing부분이었다. 2023년 현재 검색엔진이 추구하고자 하는 방향성은 크롤링된 방대한 데이터에 대하여 Training을수행한 대용량 모델의 산출을 바탕으로 해당 언어 모델에 […]
Scaling Language Modeling with Pathways PaLM논문을 살펴보게 된 배경은 대용량 언어모델의 서비스 상용화가 ChatGPT의 출현으로 실현되었다. 이런 대용량 언어모델에 대한 서비스 방향성과 추론 및 학습을 위한 인프라 환경에 대한 이해를 하기 위하여2022년 4월에 구글에서 발표한 PaLM논문을 리뷰해 보기로 한다. 사전 지식 공유 GPT부터 BERT까지 트랜스포머 유니버스https://m.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS5215583920&cate_cd&fbclid=IwAR0cIekNVOZs2Nt6Z6RCgK2NlHx9VALGMiTf7RRv7QXfql3GhRD_P05nmt8 1> Pathways 2> Reasoning LLMs are Zero-Shot Reasoners Zero-Shot […]