Loading...

Deep Learning Research Group

LLM SUMMARY

Read more

MAMBA

Read more

Recent RAG research survey

Read more

Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition

Read more

MetaFormer Is Actually What You Need for Vision

Read more

검색엔진에 적용된 딥러닝 모델 방법

Deep Learning For Search Large Scale Language Model(LLM)의 출현은 기존의 검색 엔진 구조의 점진적 개선을 뛰어넘는또 다른 차원의 길을 제시해주었다. 기존 검색엔진의 구조를 보면 알겠지만 기존 검색엔진에서 중요한 부분인 바로 Ranking부분과기존 문서에 대한 크롤링을 통한 수집과 indexing부분이었다. 2023년 현재 검색엔진이 추구하고자 하는 방향성은 크롤링된 방대한 데이터에 대하여 Training을수행한 대용량 모델의 산출을 바탕으로 해당 언어 모델에 […]

Read more

PaLM (Pathways Language Model)

Scaling Language Modeling with Pathways PaLM논문을 살펴보게 된 배경은 대용량 언어모델의 서비스 상용화가 ChatGPT의 출현으로 실현되었다. 이런 대용량 언어모델에 대한 서비스 방향성과 추론 및 학습을 위한 인프라 환경에 대한 이해를 하기 위하여2022년 4월에 구글에서 발표한 PaLM논문을 리뷰해 보기로 한다. 사전 지식 공유 GPT부터 BERT까지 트랜스포머 유니버스https://m.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS5215583920&cate_cd&fbclid=IwAR0cIekNVOZs2Nt6Z6RCgK2NlHx9VALGMiTf7RRv7QXfql3GhRD_P05nmt8 1> Pathways 2> Reasoning LLMs are Zero-Shot Reasoners Zero-Shot […]

Read more

Offline Reinforcement Learning:From Algorithms to Practical Challenges

Read more

Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth

Read more

Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model

Read more