[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (5) RAG 생성 및 백엔드 연결목차(1) 기획 단계(2) BigQuery로 데이터 가공하기(3) 임베딩 (Embedding)(4) 유사도 검색 (Search)안녕하세요, 거의 두 달만에 블로그를 작성하는 것 같아요 😅 일이 너무 바빠 포스팅에 신경을 쓰지 못했네요.RAG 구조는 이미 다 생성 한채로 마무리를 하고 포스팅을 뒤늦게 작성하는거라 기억을 더듬어보겠습니다..! 앞선 포스팅에서 벡터 검색 기능(Vector Similarity Search)를 구현 했었습니다.`top_k` 개의 인덱스를 추출하여 리스트에 저장하는 것 까지 해보았는데요. 이번 포스팅에서는 해당 유사도를 가지고 사용자의 질문에 대응할 수 있는 프롬프트를 만드는 RAG를 ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (4) 유사도 검색(Search)목차 (1) 기획 단계(2) BigQuery로 데이터 가공하기(3) 임베딩 (Embedding) 앞서 Stack Oveflow의 Python 관련 Q&A 데이터를 벡터 임베딩하여 GCS에 저장했습니다.이번에는 이 임베딩 데이터를 활용해 사용자의 질문과 의미적으로 유사한 질문/답변을 찾아주는 벡터 검색 기능(Vector Similarity Search)을 구현해볼 차례입니다. 🧭 벡터 검색이란?텍스트를 임베딩하면 각 문장이 벡터 공간 상의 점으로 표현됩니다.비슷한 의미를 가진 문장일수록 서로 가까운 위치에 놓이게 되죠. 사용자가 새로운 질문을 입력했을 때, 그 질문도 벡터로 변환한 뒤 기존 Q&A 벡터들과의 코사..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (3) 임베딩(Embedding)목차(1) 기획 단계(2) BigQuery로 데이터 가공하기앞서 기획 단계에서 설명한 RAG 파이프라인 흐름 중,1. BigQuery에서 Stack Overflow의 Python 관련 질문과 답변 데이터를 추출하고2. 추출한 데이터를 GCS(Google Cloud Storage)에 저장하는 작업까지 완료했습니다.이제 다음 단계로 넘어가, 해당 Python Q&A 데이터를 벡터 임베딩(Vector Embedding)한 뒤, 그 결과를 다시 GCS에 저장해보겠습니다. 이 과정은 향후 유사 질문 검색과 RAG 기반 답변 생성에 사용될 중요한 준비 작업입니다.💡 임베딩 (Embedding)임베딩(Embedding)은 ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (2) BigQuery로 데이터 가공하기 목차(1) 기획 단계 지난 포스팅에서 Stack Overflow 데이터를 활용해 Python 관련 챗봇을 만들겠다는 계획을 공유했었죠.그 첫걸음으로, 모델 학습에 사용할 데이터셋을 확보하고, 그 중 Python 관련 질문/답변만 골라내는 작업이 필요했습니다.이번 글에서는 제가 관심 있다고 했던 BigQuery를 이용해 어떻게 데이터를 가공했는지 기록해보려 합니다. BigQuery의 공개 데이터BigQuery에서는 다양한 공개 데이터셋(Public Datasets)을 제공하고 있어요.BigQuery 콘솔에서 탐색기 왼쪽의 ‘데이터 추가’ 버튼을 누르면 사용할 수 있는 여러 데이터 소스를 확인할 수 있습니다..

[GCP][AI] 챗봇 프로젝트 : GCP를 활용한 파이썬 챗봇 만들기 (1) 기획 단계 안녕하세요, 굉장히 오랜만에 포스팅을 하는 것 같은데요 요새 GCP를 활용해 AI 챗봇을 만드는데에 꽤 집중을하느라 포스팅을 할 시간이 없었네요 😅 AI 챗봇이 거의 다 완성이 되어가고 있어 진행 과정에 대한 기록을 남겨볼까합니다. 개요"AI는 해야겠는데 비용이 너무 많이 들어요 .. !!"하시는 분들에게 GCP를 정말 강력히 추천드립니다. GCP는 무료 크레딧을 꽤 넉넉하게 제공해 주는 편인데요, 현재 기준으로 약 40만 원(300달러) 정도의 크레딧을 지원받을 수 있습니다.AWS 프리티어처럼 사용 가능한 리소스에 엄격한 제한이 있는 구조가 아니기 때문에, 다양한 GCP 서비스를 직접 체험해보기에도 아주 좋습니..

[Istio] Istio : 서비스 메시, 직접 설치해보며 알아보기최근 Kubernetes 환경에서 마이크로 서비스가 많아지고, 서비스 간 호출 흐름이 복잡해지면서 다음과 같은 고민이 생기기 시작했습니다.서비스 간 통신 상태를 눈으로 확인하고 싶다.특정 서비스의 트래픽을 제어하거나 분산시키고 싶다.장애가 어떤 서비스에서 터졌는지 빠르게 파악하고 싶다.이런 요구는 전통적인 로드밸런서, 로그, 모니터링 도구만으로는 한계가 있었고, 그래서 Istio같은 서비스 메시가 필요한 이유를 명확히 체감하게 되었습니다. Istio란 무엇일까?Istio는 대표적인 오픈소스 서비스 메시 프레임워크입니다. Kubernetes 환경에 최적화되어 있고, 트래픽 제어, 보안, 관측을 통합적으로 제공하는 기능을 갖추고 있습니다.💡..

[AWS] Glue : 공공데이터 기반 ETL 실습 - 미세먼지 데이터를 활용하여 수집부터 Athena 조회까지 최근 Glue와 EMR을 비교해보며 실습 방향을 고민했는데요, 간단한 데이터 전처리와 쿼리 테스트 수준에서는 Glue가 훨씬 가볍고 빠르게 활용할 수 있다는 결론이 나왔습니다. 그래서 실제로 서울시 미세먼지 데이터를 활용한 (아주) 간단한 ETL 파이프라인을 Glue로 구성해보았습니다.Glue가 어떤 상황에 적합한지 제감해보고, Glue + Crawler + Athena 조합이 어떻게 흘러가는지도 확인해볼 수 있었던 실습이었습니다. 사전 준비aws s3 bucketaws glue roleuser가 glue를 사용할 수 있는 role과glue에서 s3 bucket이 접근 가능하도록하는 role..

[AWS] Glue : 서버리스 ETL 서비스 현재 저는 고객사에서 Airflow를 다루고 있습니다. 제가 입사하기 이전에는 AWS의 Glue를 사용했다고합니다.Airflow로 이관한 이유는 역시 비용때문이였는데요 .. 😅 Glue 또한 ETL을 동작하는 서비스이기때문에 Glue에서는 어떤방식으로 동작하는지 궁금하기도 했고,EMR을 공부하다보니 자연스럽게 Glue랑 비교되는 포스트들도 많이 보이더라구요 이번 포스팅에서는 Glue에 대해 정리해보았습니다. GlueGlue는 AWS에서 제공하는 서버리스 ETL(Extract-Transform-Load) 서비스 입니다.즉, 사용자가 직접 인프라를 구성할 필요 없이, Cloud에서 자동으로 리소스를 할당해 데이털르 변환하고 로딩해주는 구조입니다. 주요 기능은 ..

[AWS] EMR : 빅데이터 처리 및 데이터 분석 플랫폼최근 빅데이터를 다루는 프로젝트를 진행하면서, 자연스럽게 분산 처리 프레임워크에 대해 알아보게되었습니다.그 과정에서 AWS에서 제공하는 여러 분석도구들 중에서 EMR(Elastic MapReduce)라는 서비스를 접하게 되었습니다. 단순한 실행 환경이라기보다는 꽤 유연하고 깊이 있는 구조를 가지고 있다는 인상을 받았습니다.아키텍처를 조금 더 깊게 보면서 구조와 동작 방식에 대한 이해가 필요하다고 느꼈습니다. 이번 포스팅에서는 EMR의 구성과 실행 흐름 위주로 정리해보려고 합니다. EMR은 어떤 서비스일까? 빅 데이터 플랫폼 - Amazon EMR - Amazon Web ServicesApache Spark MLlib, TensorFlow 및 A..

[Kubeflow] Kubeflow 공부기 : 데브옵스 엔지니어의 MLOps 입문 (3) Pipeline 실행하기Kubeflow 공부기 : 데브옵스 엔지니어의 MLOps 입문kubeflow 알아보고 설치하기구성요소와 Pipeline지난 포스팅에서 파이프라인을 구성해봤습니다. 단순히 파이썬 코드로 워크플로우를 정의하고, 이를 Kubeflow 상에서 바로 실행해볼 수 있다는 점이 꽤 직관적이고 흥미로웠습니다. 이번엔 지난 포스팅에서 정의했던 파이프라인을 실제로 어떻게 실행하는지에 대해 공부를 해봤는데요,실행 방식 자체는 크게 어렵지 않았지만, 환경에 따라 인증이나 권한 관련 이슈들이 발견할 수 있었고 그 과정에서 몇가지 시행 착오를 겪었습니다. 비슷한 환경에서 Kubeflow를 학습하시는 분들께 도움이 되었..

[Kubeflow] Kubeflow 공부기 : 데브옵스 엔지니어의 MLOps 입문 (2) 구성요소와 Pipeline Kubeflow 공부기 : 데브옵스 엔지니어의 MLOps 입문kubeflow 알아보고 설치하기 지난 포스팅에서는 Kubeflow를 EKS 환경에 설치하고 대시보드까지 확인해봤습니다. 이번 포스팅에서는 Kubeflow의 주요 구성요소들이 실제로 어떤 역할을 하고, 내부에서 어떻게 연결되는지, 그리고 파이프라인은 어떤 흐름으로 구성되는지 중심으로 정리하려고 합니다. 저번 포스팅에서 인프라 설정에대해서 다뤘다면, 여기서는 실제 기능을 직접 다뤄보면서 경험한 흐름에 집중하여 공부해봤습니다. Kubeflow 구성요소, 실제 워크플로우 속에서 이해하기처음에 대시보드에 접속하면 메뉴가 정말 많고, 뭐가..

[Terrform] 테라폼으로 EKS 구성하기 (5) : user_data 개선하기 with kubeflow 현재 Terrform으로 구성한 EKS 클러스터에서 Kubeflow를 동작시키고 있습니다. 그러다보니 이전의 테라폼으로 EKS 구성하기에서 (4) 항목의 mgmt에 user_data에서의 문제점들이 몇 가지 보였는데요 [Terrform] 테라폼으로 EKS 구성하기 (3) EKS[Terrform] 테라폼으로 EKS 구성하기 (3) EKS테라폼으로 VPC 구성하기 [Terrform] 테라폼으로 EKS 구성하기 (1) VPC 구성[Terrform] 테라폼으로 EKS 구성하기 (1) VPC 구성테스트용도로 EKS 클러스터를 올렸다 내렸heywantodo.tistory.comKubeflow 설치도 완료했겠..