cherie-ssom

오늘은 RAG 시스템을 구축하면서 필요한 벡터 DB 중 하나인 Qdrant를 설치하고 사용하는 방법을 정리해보고자 한다.먼저 docker 환경은 linux에 적합하기 때문에, wsl을 설치해주고 난 뒤에 실행하는 편이 훨씬 좋다. window에 linux (ubuntu)를 설치에 대한 부분은 지난 포스팅에서 확인할 수 있다. 자, 그럼 본격적으로 Qdrant를 설치를 진행해보자. 1. Docker Desktop 설치https://docs.docker.com/desktop/setup/install/windows-install에 접속하여 docker desktop for window를 다운로드한다.설치파일을 실행하고 기본 설정으로 설치를 진행한다.설치 한 이후에는 계정이 없다면 만들어주고 활용하면 된다. (..

오늘은 window 환경에서 Ububtu를 사용하기 위해서 WSL을 설치하고 세팅하는 방법에 대해서 정리해보고자 한다. 먼저 wsl이란 window 운영체제에서 Linux (Ubuntu) 환경을 실행할 수 있게 해주는 subsystem이다. 즉, 일종의 가상 머신이다.그런데 먼저 이걸 사용하기 위해서는 window 10 이상이어야 하고 window 11 이상이면 자동으로 다운이 가능하다.우선 본인의 pc가 wsl이 설치되는 환경인지를 확인하기 위해서 '작업 관리자 > 성능'으로 들어가서 오른쪽 하단에서 '가상화'가 있으면 wsl을 설치할 수 있는 환경이라는 의미이다. 그렇게 환경을 확인을 했으면 우선 본격적으로 설치를 시작해 보자. 1. Window 기능 켜기 끄기가장 첫번째로 해야 할 것은 windo..

AI 개발을 하다보면 리눅스나 ubuntu 환경을 자주 쓰는 것 같다. (몇 번 사용해보긴 했으나, 프로젝트마다 조금씩 쓰는 os가 상이할 때도 있고, 기본 환경이 윈도우다 보니 늘 헷갈리긴 한다..) 어쨌든, 오늘은 ubuntu 환경에서 아나콘다 가상환경을 세팅하는 방법을 정리하고자 한다.주로 프로젝트 관리를 할 때, 아나콘다를 만들어서 poetry랑 연결을 하거나 그렇게 하는데 일단 오늘은 아나콘다만..1. 아나콘다 설치 ubuntu에서는 miniconda를 설치를 해주는 것이 조금 더 가볍고 좋다고 한다.가벼운 ananconda 버전으로 약간의 기본 패키지 구성이 다르긴 하지만, ec2 서버나 gpu 인스턴스, 도커, CI/CD 환경에서도 더 일반적이라고 한다. 다음 코드로 일단 설치해준다. # ..

가상의 서버가 필요한 상황에서 AWS EC2를 사용하게 되었는데, 개발을 편하게 하기 위해서 vscode에 바로 연결을 하려고 한다.오늘은 그 방법에 대해서 정리를 한번 해두려고 한다. Remote-SSH로 EC2 인스턴스 접속하기Ctrl+shift+p를 눌러서 Remote-SSH : Connect to Host 치고 눌러준다.* 만약에 여기서 이게 안뜨면 Extensions에서 Remote-SSH를 설치해주면 된다. 이걸 선택해주고 나면 아래에 + ADD New SSH Host가 뜨는데 이걸 눌러주고 나면 두개의 config가 있는데, 나의 경우에는 가장 위에 있는 C:\Users\{컴퓨터이름}\.ssh\config 이 부분을 골랐다. config 파일 작성하기 이렇게 config 파일을 정해주고..

모델을 배포할 때나, 공유해야할 때 requirements.txt 파일이 필요하다.하지만, 내가 구성한 개발 환경은 poetry 환경이었지만, 외부에 개발한 모듈들을 공유하기 위해서 requirement.txt이 필요했기 때문에, 터미널에 한번에 requirements.txt 파일을 만드는 방법을 공유하고자 한다. 1. poetry 가상 환경에서 pyproject.toml 이란?pyproject.toml 파일은 프로젝트의 설정과 의존성 정보를 통합적으로 관리하는 핵심 구성 파일이다. 이러한 toml 파일을 기반으로 poetry 가상 환경과 의존성, 메타데이터를 함께 관리할 수 있다.따라서, 팀 프로젝트를 진행할 때 환경 관리 및 배포가 쉬워지는 장점이 있다. toml 파일이 관리는 것의 예시는 다음과 같..

오늘은 VScode에서 진행중인 프로젝트들을 Github Repositories에 연동하는 방법을 정리하고자 한다.(Git은 정말 쓸 때마다 에러가 나서..편한 방법을 배운 김에 까먹지 않게 정리해두고자 한다.) 1. Git 설치가장 기본적으로 git을 설치를 해야한다. > Git 설치 Git - DownloadsDownloads macOS Windows Linux/Unix Older releases are available and the Git source repository is on GitHub. Latest source Release 2.49.0 Release Notes (2025-03-14) Download Source Code GUI Clients Git comes with built-in ..

오늘은 맨날 맨날 헷갈리는 각종 용어들을 한 번 정리해놓고자 한다. 1. 라이브러리 (Library)정의 : 관련된 여러 패키지나 모듈들을 모아놓은 집합 보통 module/package의 상위 개념으로 사용되고, 이런 것들이 publish 되면 library 라고 부른다. Python에서는 "library"라는 용어가 명확한 기술적 구조를 지칭하기보단, 패키지나 모듈들의 묶음 개념으로 사용된다.그런데, 솔직히 library는 pakage랑 자주 혼용되는 용어긴 하다. 엄밀히 말하자면 python의 numpy나 pandas도 패키지지만 라이브러리라고 부르기도 하기 때문이다. 그래서 그냥 패키지보다 조금 더 상위 개념으로 더 큰 기능의 집합체라고 이해하는 게 편할 것 같다. 2. 패키지(Package)정의..

이번 포스팅에서는 추천시스템의 평가를 위해서 어떤 전략을 사용해서 학습 데이터와 평가 데이터를 나누는지에 대해서 설명해보고자 한다.  그중에서도 암묵적 피드백으로 이루어진 데이터와 모델을 활용할 때 자주 사용하는 Leave-one-out과 Negative sampling 방법에 대해서 알아보고자 한다. 이를 설명하기 위해서 필수적인 개념들을 한번 더 정리하고, 본격적인 이야기들을 순서대로 설명해보고자 한다. 1. 명시적 피드백 (Explicit Feedback)과 암묵적 피드백 (Implicit Feedback) 이란?추천시스템에서는 사용자의 선호도를 측정하기 위한 피드백 정보를 사용한다.그 종류에는 크게 두 가지가 존재하는데, 명시적 피드백 (Explicit Feedback), 암묵적 (Implicit..

python에서 mecab을 사용하는 방법에 대해서 정리를 해보고자 한다. (굉장히 많은 형태소가 존재하지만 오늘은 그중에서도 mecab을 정리해보고자 한다.)텍스트 분석을 진행하면서 다양한 형태소 분석기들을 사용해 보았지만, 명사 추출에서 영어+한국어와 같은 합성어 추출 문제와 사용사 사전 정의를 위해서 Mecab을 써야 했다. 그동안 Mecab을 사용할 땐 colab으로 그때그때 설치해서 사용했어서, 로컬에 설치하려니 이렇게까지 복잡한 줄은 몰랐다..정말 많은 게시물을 보았지만, mecab의 최신 버전을 설치하는 건 찾지 못해서 결국 나도 python 3.9.0 버전 기준으로 설치를 시작했다. (아마 못 찾은 거겠지만 더 이상 에러를 만나고 싶지 않아 다른 분들을 참고해서 설치했다...) 이제 Mec..

오늘은 기본적인 추천시스템에 대해서 정리해보고자 한다. 추천시스템이란 사용자에게 선호할만한 아이템을 자동으로 추천하는 시스템을 말한다. 그 기본적인 아이디어는 다양한 데이터 소스를 활용해 고객의 관심을 추론하는 것이다. 따라서 과거의 관심사와 성향이 미래의 선택에 대한 방향성을 제시해주고 있기 때문에, 추천 결과는 과거의 상호작용에 기반할 수 있다. 예를 들어, 공통된 관심사를 가진 유저에게 비슷한 아이템을 추천해 줄 수도 있고, 유저가 기존에 구매했던 비슷한 물건을 찾아 추천해 줄 수도 있다. 이는 아주 단순한 추천 알고리즘에 기초해서도 만들 수 있고 더욱 많은 데이터들을 활용해서 더 고도화된 모델들을 만들 수도 있다. 어쨌든 이제부터, 추천시스템의 큰 틀을 알아보고 그 안의 기본적인 알고리즘의 기..