[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (5) RAG 생성 및 백엔드 연결목차(1) 기획 단계(2) BigQuery로 데이터 가공하기(3) 임베딩 (Embedding)(4) 유사도 검색 (Search)안녕하세요, 거의 두 달만에 블로그를 작성하는 것 같아요 😅 일이 너무 바빠 포스팅에 신경을 쓰지 못했네요.RAG 구조는 이미 다 생성 한채로 마무리를 하고 포스팅을 뒤늦게 작성하는거라 기억을 더듬어보겠습니다..! 앞선 포스팅에서 벡터 검색 기능(Vector Similarity Search)를 구현 했었습니다.`top_k` 개의 인덱스를 추출하여 리스트에 저장하는 것 까지 해보았는데요. 이번 포스팅에서는 해당 유사도를 가지고 사용자의 질문에 대응할 수 있는 프롬프트를 만드는 RAG를 ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (4) 유사도 검색(Search)목차 (1) 기획 단계(2) BigQuery로 데이터 가공하기(3) 임베딩 (Embedding) 앞서 Stack Oveflow의 Python 관련 Q&A 데이터를 벡터 임베딩하여 GCS에 저장했습니다.이번에는 이 임베딩 데이터를 활용해 사용자의 질문과 의미적으로 유사한 질문/답변을 찾아주는 벡터 검색 기능(Vector Similarity Search)을 구현해볼 차례입니다. 🧭 벡터 검색이란?텍스트를 임베딩하면 각 문장이 벡터 공간 상의 점으로 표현됩니다.비슷한 의미를 가진 문장일수록 서로 가까운 위치에 놓이게 되죠. 사용자가 새로운 질문을 입력했을 때, 그 질문도 벡터로 변환한 뒤 기존 Q&A 벡터들과의 코사..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (3) 임베딩(Embedding)목차(1) 기획 단계(2) BigQuery로 데이터 가공하기앞서 기획 단계에서 설명한 RAG 파이프라인 흐름 중,1. BigQuery에서 Stack Overflow의 Python 관련 질문과 답변 데이터를 추출하고2. 추출한 데이터를 GCS(Google Cloud Storage)에 저장하는 작업까지 완료했습니다.이제 다음 단계로 넘어가, 해당 Python Q&A 데이터를 벡터 임베딩(Vector Embedding)한 뒤, 그 결과를 다시 GCS에 저장해보겠습니다. 이 과정은 향후 유사 질문 검색과 RAG 기반 답변 생성에 사용될 중요한 준비 작업입니다.💡 임베딩 (Embedding)임베딩(Embedding)은 ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (2) BigQuery로 데이터 가공하기 목차(1) 기획 단계 지난 포스팅에서 Stack Overflow 데이터를 활용해 Python 관련 챗봇을 만들겠다는 계획을 공유했었죠.그 첫걸음으로, 모델 학습에 사용할 데이터셋을 확보하고, 그 중 Python 관련 질문/답변만 골라내는 작업이 필요했습니다.이번 글에서는 제가 관심 있다고 했던 BigQuery를 이용해 어떻게 데이터를 가공했는지 기록해보려 합니다. BigQuery의 공개 데이터BigQuery에서는 다양한 공개 데이터셋(Public Datasets)을 제공하고 있어요.BigQuery 콘솔에서 탐색기 왼쪽의 ‘데이터 추가’ 버튼을 누르면 사용할 수 있는 여러 데이터 소스를 확인할 수 있습니다..

[GCP][AI] 챗봇 프로젝트 : GCP를 활용한 파이썬 챗봇 만들기 (1) 기획 단계 안녕하세요, 굉장히 오랜만에 포스팅을 하는 것 같은데요 요새 GCP를 활용해 AI 챗봇을 만드는데에 꽤 집중을하느라 포스팅을 할 시간이 없었네요 😅 AI 챗봇이 거의 다 완성이 되어가고 있어 진행 과정에 대한 기록을 남겨볼까합니다. 개요"AI는 해야겠는데 비용이 너무 많이 들어요 .. !!"하시는 분들에게 GCP를 정말 강력히 추천드립니다. GCP는 무료 크레딧을 꽤 넉넉하게 제공해 주는 편인데요, 현재 기준으로 약 40만 원(300달러) 정도의 크레딧을 지원받을 수 있습니다.AWS 프리티어처럼 사용 가능한 리소스에 엄격한 제한이 있는 구조가 아니기 때문에, 다양한 GCP 서비스를 직접 체험해보기에도 아주 좋습니..

[GCP] 사용자 인증 정보 받기 AWS Access Key처럼 GCP에도 Credetials이 있다. 1. GCP 콘솔에서 Credentials 검색 2. 서비스 계정 생성 권한이 필요한 리소스에 대한 액세스 권한을 부여한다. 나같은 경우엔 Artifact Registry에 대한 권한이 필요해서 권한을 부여했다. 3. JSON KEY 생성 생성한 서비스 계정에 키 카테고리를 들어가면 Key를 생성할 수 있다. Key는 JSON 형식과 P12 형식 두 가지로 다운 받을 수 있으며, 나는 JSON Key를 선택 키를 추가하면 아래와 같이 활성화된다. 참조 https://medium.com/google-cloud/how-to-push-docker-image-to-google-container-registry..

[GKE] Some backend services are in UNHEALTHY state Ingress를 구성하는 중, 자꾸 백엔드에서 UNHEALTHY state가 발생하며 서버에 접근이 안됐다. NLB, Nodeport 다 접근이 되는데 Ingress만 UNHEALTHY라고 하니까 아주 미칠 노릇 🙄🙄 서버의 오류 메시지도 404,504 같은게 상태 코드를 보여주는게 아니라 그냥 30초있다가 재시도해보라는 이상한 솔루션만 제시 🤬 원인은 백엔드 서비스 즉 nodeport의 상태가 비정상이라서 그렇다고하는데 아무리봐도 노드포트의 상태가 비정상이면 노드포트로 접속이 안될것같은데 노드포트로는 잘 접속이 되니 .... 대체 뭐가 문제지하면서 머리를 싸맸다😂 아무래도 국내에는 gcp에 대한 자료가 얼마 없다..

[GCP] Artifact Registry 도커 이미지를 GCP의 이미지 저장소에 Push 하려고 알아보니, 기존 구글의 Container Registry는 지원이 중단 되었고, 2024년 5월 15일 이후에는 Artifact Registry만 지원한다고 한다. 내가 못찾은 건지는 모르겠는데 Container Registry는 신규 저장소 생성이 안되는 것 같음 Artifact Registry Docker 컨테이너 이미지를 저장하고 관리하기 위한 저장소 Cloud Build를 이용해 Google Cloud Cl/CD 서비스 또는 기존 CI/CD 도구와 통합할 수 있음 또한 컨테이너 분석을 사용하여 컨테이너 메타 데이터를 관리하고 컨테이너 취약점을 스캔 저장소 생성 나는 Google Cloud의 CI/CD..

[GCP] GKE로 웹 애플리케이션 배포 (2) 1. 웹 애플리케이션 생성 2. Docker Image 생성 3. 생성 한 Docker Image로 Deployment 생성 4. NodePort 열어줌 5. Ingress Controller를 사용하여 경로 지정 지난 포스팅에서 1번과 2번 과정까진 완료했다. https://heywantodo.tistory.com/118 [GCP] GKE로 웹 애플리케이션 배포 (1) [GCP] GKE로 웹 애플리케이션 배포 (1) GKE로 웹 애플리케이션을 배포하는 과정은 다음과 같다. 1. 웹 애플리케이션 생성 2. Docker Image 생성 3. 생성 한 Docker Image로 Deployment 생성 4. NodePort 열어줌 5. Ingres heywant..

[GCP] GKE로 웹 애플리케이션 배포 (1) GKE로 웹 애플리케이션을 배포하는 과정은 다음과 같다. 1. 웹 애플리케이션 생성 2. Docker Image 생성 3. 생성 한 Docker Image로 Deployment 생성 4. NodePort 열어줌 5. Ingress Controller를 사용하여 경로 지정 1. 웹 애플리케이션 생성 Python의 Flask 모듈을 사용하여 간단한 웹 애플리케이션을 생성해준다. app.py from flask import Flask app = Flask(__name__) @app.route('/') def root(): return 'hello, gke' @app.route('/test') def test(): return 'This is a test page..

[GCP] GKE 사용해보기 GKE 클러스터 생성은 아래 포스팅에서 확인 https://heywantodo.tistory.com/116 이제 생성한 클러스터에 연결해보자, 연결 또한 매우 간단하다. 콘솔에서 연결을 클릭 연결을 클릭 후 CLOUD SHELL에서 실행을 선택 그럼 CLOUD SHELL에 자동으로 명령어가 입력되고 명령어를 실행시켜주면 됨 Kubectl get nodes 명령어를 통해 Node 확인 Pod 생성 테스트 kubectl run test --image=nginx kubectl get pods kubectl expose pod/test --type="NodePort" --port 80 --target-port=80 --protocol="TCP" kubectl get svc kubec..

[GCP] GKE 클러스터 생성해보기 ⚠ 무료 평가판 Credit 계정을 사용하고 있기 때문에, 환경이 제한적이다 GKE 시작하기 GKE는 AWS나, Azure와 같은 다른 클라우드 관리형 서비스에 비해 굉장히 생성이 간단하고 쉬운편이다. 먼저 프로젝트를 생성해준 후, Kubernetes Engine API를 사용하도록 설정한다. 프로젝트는 아래 링크를 통해 생성 또는 선택 가능 https://console.cloud.google.com/projectselector2/home/dashboard Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 콘솔 시작화면에서 컨테이너화된 앱 만들기를 클릭한 후, Kubernetes Engine API 사용을 클..