cherie-ssom

앞서 Facebook AI Research에서 2020년도 처음으로 제시한 RAG 논문에 대해서 살펴보았다.  다시 한번 짚어보자면 non-parametric memory를 활용할 수 있도록 Retriever와 Generator를 각각 결합하는 방식으로 포괄적인 Fine-tuning 방법을 제시한 바 있다.이때, 논문에서는 Retriever는 DPR, Generator를 BART로 활용했으며, Retriever는 쿼리(q)에 알맞은 문서(d)들을 가져오고, Retriever가 변환한 쿼리와 문서를 Generator에 넣어 최종적인 Sequence를 뽑아내는 방식을 제시했다.  사실, 이 부분은 현재 많이 알고 있는 RAG와는 조금 다르다. (나 역시 최근의 RAG를 먼저 보게 되었다 ㅎ;;)기존의 RAG..

이번 글에서는 RAG라는 용어가 처음 등장한 논문으로 Facebook AI Research에서 2020년에 발표한 논문을 살펴보고자 한다. 1. Introduction기존의 Pre-trained language model은 downstream NLP task에 대해 fine-tuning을 수행할 때 좋은 결과를 얻지만 새로운 지식이나 정정보도와 같은 부분에 대한 답변은 여전히 제한이 있다.  이러한 부분을 해결하기 위해서 Retriever(정보 검색기)와 Generator(생성기)를 결합한 모델을 제안한다.조금 더 상세하게 말하자면 parametric memory (pre-trained model)과 non-parametric memory (retrieval-based)를 결합한 Retrieval-Aug..

이전에 읽었던 논문이었지만, RAG에 대한 공부를 하게 되면서 다시 읽고 정리하고자 했다. Dense Passage Retriever (DPR)는 Facebook AI에서 제안한 문서 검색 모델로, 특히 오픈 도메인 질문 응답(Open-Domain Question Answer, ODQA)에서 질문과 문서를 밀집 벡터(dense embedding)로 표현하여 유사도를 계산하여 효과적으로 검색하는 데 사용할 수 있게 만든다는 것이 주요 아이디어이다. 1. Background기존에 retrieval에 활용했던 TF-IDF와 BM25와 같은 방법론들은 다의어와 동음이의어와 같이 문맥의 이해가 필요한 부분을 해결하지 못한다는 문제가 있었다. 예시를 들어보자면, Q. Who is the bad guy in lord..

최근 ChatGPT 및 LLaMA와 같은 대규모 언어 모델(LLM, Large Language Models) 이 많은 주목을 받고 있다. 그러면서 언어뿐만 아니라 시각적인 요소를 포함한 복잡한 정보들을 함께 활용할 수 있는 대형 멀티 모달 모델들(LMM, Large Multimodal Model)이 등장하고 있다. 오늘은 그중에서도 LLaVA(Large Language and Vision Assistant) 모델에 대해서 정리해보고자 한다.1. Overview이전에도 Flamingo, BLIP-2 등 시각 정보를 인식해 관련 질문에 답을 할 수 있는 멀티 모달 연구들이 있었지만, 해당 연구들은 학습 시 데이터셋의 형식이 단순한 image-text pair로 이루어져 있었다. 즉, 단순히 텍스트가 이미지에..