cherie-ssom

가상의 서버가 필요한 상황에서 AWS EC2를 사용하게 되었는데, 개발을 편하게 하기 위해서 vscode에 바로 연결을 하려고 한다.오늘은 그 방법에 대해서 정리를 한번 해두려고 한다. Remote-SSH로 EC2 인스턴스 접속하기Ctrl+shift+p를 눌러서 Remote-SSH : Connect to Host 치고 눌러준다.* 만약에 여기서 이게 안뜨면 Extensions에서 Remote-SSH를 설치해주면 된다. 이걸 선택해주고 나면 아래에 + ADD New SSH Host가 뜨는데 이걸 눌러주고 나면 두개의 config가 있는데, 나의 경우에는 가장 위에 있는 C:\Users\{컴퓨터이름}\.ssh\config 이 부분을 골랐다. config 파일 작성하기 이렇게 config 파일을 정해주고..

오늘은 AWS S3에서 python으로 데이터를 로딩하는 방법을 작성해보고자 한다. 그러기 위해서는 필수적으로 필요한 boto3라는 라이브러리를 설치해주어야 한다.boto3 라이브러리는 AWS SDK for python으로, AWS 서비스들과 상호작용할 수 있게 해주는 라이브러리다.  설치되어 있지 않다면! 일단 boto3 라이브러리가 필요함으로 pip install을 통해서 해당 라이브러리를 다운로드하여준다.(전부 설치되어 있다는 가정하에 넘어가겠습니다) 1. Client 설정본격적으로 데이터 로딩을 위해서 기본적인 세팅을 먼저 진행해야 한다. 그 기본적인 세팅이란 AWS s3에 접근하기 위해서는 boto3 클라이언트를 설정을 의미한다. 다시 말해서 AWS 서비스를 python 코드로 제어할 수 있게 ..

오늘은 window 로컬 환경에서 Pyspark를 설정하는 방법을 정리하고자 한다.  사실 S3를 DB 개념으론 써봤지만, AWS Glue script, Step function 등을 활용한 구체적인 ETL 작업까진 경험이 없던지라 데이터 수집 후 스키마 설정 등을 위해 pyspark를 써보게 된 것도 처음이었다. 먼저, test를 위해 로컬 환경에서 pyspark를 사용해보려고 했는데, 진짜 설정이 너무나도 까다로웠다. 수많은 에러를 만나고, 어찌어찌 해결한 과정을 작성해보고자 한다.    결론적으로 말하자면 나의 경우에는, pyspark 하나를 쓰기 위해서 수많은 것들을 다운 받아야 하는데 그 파일들의 버전이 호환되지 않았던 것과 경로 지정의 문제였었다.  우선, 전반적인 파일 설치 과정과 에러들을 ..