cherie-ssom

langchain을 통해서 구축한 RAG 기반의 추천 시스템을 Chainlit을 활용해서 챗봇 UI까지 연결해 보는 과정까지를 작성해보고자 한다. 데이터 전처리, vector DB에 chunk 단위로 저장하고, query input과 유사도를 측정해서 ouput을 뽑아낼 수 있는 RAG를 적용한 시스템을 구축하는 프로젝트를 진행했다. (agent까진 가지 못했고, 조금은 휴리스틱 하지만ㅜㅜ) 회사 프로젝트로 함께 진행한거라서 자세한 코드나 내용에 대해서는 언급하지 못하기도 하고, 초기 기획에는 멀티턴이 가능한 챗봇으로 개발을 진행하려고 했지만, 프로젝트의 목적을 생각했을 때 좋지 못한 UI가 나올 수도 있어서 해당 부분은 추후에 고도화하는 방향으로 변경을 했다.. 따라서, 멀티턴 챗봇까지는 아니지만 내..

RAG 시스템을 구축하려다 보면 많이 볼 수 있는 프레임워크로 LlamaIndex와 Langchain가 있다.기능이 엄청 크게 다른 건 아니지만, 각각 특화된 부분이 조금 다르긴 하다. 간략하게 설명하자면, LlamaIndex의 경우 RAG 부분 자체에 특화된 경향이 있고, Langchain의 경우 LLM 기반의 애플리케이션 오케스트레이션 프레임워크로 RAG 뿐만 아니라 llm, API 호출, 액션 기반 에이전트 기능 개발 등 더 범용성이 큰 프레임워크라고 할 수 있을 것 같다. 어쨌든, 본격적으로 RAG 시스템을 구축할 때의 전체적인 구성의 차이와 두 가지 프레임워크 자체의 차이점을 비교하면서 정리해보고자 한다.LlamaIndex핵심 기능 : 데이터 연결 + 검색 최적화 프레임워크다양한 인덱스 구조 제..

오늘은 Ollama에서 Huggingface에 있는 오픈 소스 모델들을 로컬에서 활용하는 방법에 대해서 정리해보고자 한다.사실 올라마를 쓰는 것랑 transformers 라이브러리를 쓰는건 같은 모델을 어떤 목적을 가지고 불러오고, 실행하냐 정도의 차이가 있다. 올라마를 쓰는건 LLM 실행을 위한 로컬 서버+런타임 패키지로 오픈 소스 모델을 단순 추론용으로 서비스에 붙이는 상황이고, 간단한 테스트 정도를 진행한다고 하면 올라마가 개발 속도와 배포면에서 훨씬 편하다. 하지만, 모델 자체를 파인튜닝하고, RAG 등의 파이프라인을 커스터 마이징까지 하려면 transformers 라이브러리를 쓰는 게 적합하다. 일단 이 글에서는 올라마를 사용하는 방법에 대해서 작성해보고자 한다.1단계: Ollama 설치하..