[AI] Azure Foundry를 활용하여 업무 이슈 해석 및 처리 전략 제안 AI Agent 만들기지난 포스팅에서 Azure Foundry에 대해 간략하게 소개했습니다. [AI] Azure Foundry[AI][Azure] Azure Foundry안녕하세요, 그동안 이것저것 실습은 계속 하고있었는데, 정리를 못하고있었다가 이번에 Azure AI Foundry 기반 실습을 진행하면서 해당 내용은 포스팅을 하면 좋겠다는 생각이heywantodo.tistory.comAzure AI Foundry가 어떤 성격인지의 플랫폼인지를 고민해보다가, 이걸 실제 업무에서 쓴다면 어떤 형태가 자연스러울까에 대해서 생각해보았습니다. 일반적인 RAG 예제들을 보면, 대부분이 질문 -> 문서검색 -> 답변생성의 흐름에 집중..

[AI][Azure] Azure Foundry안녕하세요, 그동안 이것저것 실습은 계속 하고있었는데, 정리를 못하고있었다가 이번에 Azure AI Foundry 기반 실습을 진행하면서 해당 내용은 포스팅을 하면 좋겠다는 생각이 들었습니다. 요즘 LLM 관련해서는 선택지가 워낙 많다보니, 굳이 비용이 많이 드는 Azure AI Foundry를 써야하나?라는 생각이 먼저 들었습니다. 일단 무료 크레딧을 최대한 활용해보자는 마음으로 ..😊 실습을 진행해보았습니다. 이번 포스팅에서는 Azure AI Foundry가 무엇인지, 그리고 어떤 상황에서 의미가 있는 도구인지를 중심으로 정리해보려고합니다. Azure AI Foundry란? Microsoft Foundry | Microsoft AzureKickstart ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (5) RAG 생성 및 백엔드 연결목차(1) 기획 단계(2) BigQuery로 데이터 가공하기(3) 임베딩 (Embedding)(4) 유사도 검색 (Search)안녕하세요, 거의 두 달만에 블로그를 작성하는 것 같아요 😅 일이 너무 바빠 포스팅에 신경을 쓰지 못했네요.RAG 구조는 이미 다 생성 한채로 마무리를 하고 포스팅을 뒤늦게 작성하는거라 기억을 더듬어보겠습니다..! 앞선 포스팅에서 벡터 검색 기능(Vector Similarity Search)를 구현 했었습니다.`top_k` 개의 인덱스를 추출하여 리스트에 저장하는 것 까지 해보았는데요. 이번 포스팅에서는 해당 유사도를 가지고 사용자의 질문에 대응할 수 있는 프롬프트를 만드는 RAG를 ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (4) 유사도 검색(Search)목차 (1) 기획 단계(2) BigQuery로 데이터 가공하기(3) 임베딩 (Embedding) 앞서 Stack Oveflow의 Python 관련 Q&A 데이터를 벡터 임베딩하여 GCS에 저장했습니다.이번에는 이 임베딩 데이터를 활용해 사용자의 질문과 의미적으로 유사한 질문/답변을 찾아주는 벡터 검색 기능(Vector Similarity Search)을 구현해볼 차례입니다. 🧭 벡터 검색이란?텍스트를 임베딩하면 각 문장이 벡터 공간 상의 점으로 표현됩니다.비슷한 의미를 가진 문장일수록 서로 가까운 위치에 놓이게 되죠. 사용자가 새로운 질문을 입력했을 때, 그 질문도 벡터로 변환한 뒤 기존 Q&A 벡터들과의 코사..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (3) 임베딩(Embedding)목차(1) 기획 단계(2) BigQuery로 데이터 가공하기앞서 기획 단계에서 설명한 RAG 파이프라인 흐름 중,1. BigQuery에서 Stack Overflow의 Python 관련 질문과 답변 데이터를 추출하고2. 추출한 데이터를 GCS(Google Cloud Storage)에 저장하는 작업까지 완료했습니다.이제 다음 단계로 넘어가, 해당 Python Q&A 데이터를 벡터 임베딩(Vector Embedding)한 뒤, 그 결과를 다시 GCS에 저장해보겠습니다. 이 과정은 향후 유사 질문 검색과 RAG 기반 답변 생성에 사용될 중요한 준비 작업입니다.💡 임베딩 (Embedding)임베딩(Embedding)은 ..

[AI] 챗봇 프로젝트: GCP를 활용한 파이썬 챗봇 만들기 (2) BigQuery로 데이터 가공하기 목차(1) 기획 단계 지난 포스팅에서 Stack Overflow 데이터를 활용해 Python 관련 챗봇을 만들겠다는 계획을 공유했었죠.그 첫걸음으로, 모델 학습에 사용할 데이터셋을 확보하고, 그 중 Python 관련 질문/답변만 골라내는 작업이 필요했습니다.이번 글에서는 제가 관심 있다고 했던 BigQuery를 이용해 어떻게 데이터를 가공했는지 기록해보려 합니다. BigQuery의 공개 데이터BigQuery에서는 다양한 공개 데이터셋(Public Datasets)을 제공하고 있어요.BigQuery 콘솔에서 탐색기 왼쪽의 ‘데이터 추가’ 버튼을 누르면 사용할 수 있는 여러 데이터 소스를 확인할 수 있습니다..

[GCP][AI] 챗봇 프로젝트 : GCP를 활용한 파이썬 챗봇 만들기 (1) 기획 단계 안녕하세요, 굉장히 오랜만에 포스팅을 하는 것 같은데요 요새 GCP를 활용해 AI 챗봇을 만드는데에 꽤 집중을하느라 포스팅을 할 시간이 없었네요 😅 AI 챗봇이 거의 다 완성이 되어가고 있어 진행 과정에 대한 기록을 남겨볼까합니다. 개요"AI는 해야겠는데 비용이 너무 많이 들어요 .. !!"하시는 분들에게 GCP를 정말 강력히 추천드립니다. GCP는 무료 크레딧을 꽤 넉넉하게 제공해 주는 편인데요, 현재 기준으로 약 40만 원(300달러) 정도의 크레딧을 지원받을 수 있습니다.AWS 프리티어처럼 사용 가능한 리소스에 엄격한 제한이 있는 구조가 아니기 때문에, 다양한 GCP 서비스를 직접 체험해보기에도 아주 좋습니..

[Kubeflow] Kubeflow 공부기 : 데브옵스 엔지니어의 MLOps 입문 (2) 구성요소와 Pipeline Kubeflow 공부기 : 데브옵스 엔지니어의 MLOps 입문kubeflow 알아보고 설치하기 지난 포스팅에서는 Kubeflow를 EKS 환경에 설치하고 대시보드까지 확인해봤습니다. 이번 포스팅에서는 Kubeflow의 주요 구성요소들이 실제로 어떤 역할을 하고, 내부에서 어떻게 연결되는지, 그리고 파이프라인은 어떤 흐름으로 구성되는지 중심으로 정리하려고 합니다. 저번 포스팅에서 인프라 설정에대해서 다뤘다면, 여기서는 실제 기능을 직접 다뤄보면서 경험한 흐름에 집중하여 공부해봤습니다. Kubeflow 구성요소, 실제 워크플로우 속에서 이해하기처음에 대시보드에 접속하면 메뉴가 정말 많고, 뭐가..

[AWS] 생성형 AI : BedrockAWS Bedrock은 AWS가 제공하는 생성형 AI(Generative AI) 서비스로, 사용자가 사전 학습된 대규모 언어모델(LLM)을 쉽게 활용할 수 있도록 돕는 플랫폼이다.AWS Bedrock을 사용하면 LLM을 직접 관리하거나 학습 시키는 복잡한 작업 없이, 다양한 생성형 AI 모델을 통합하여 애플리케이션에 도입할 수있다. AWS Bedrock이란?AWS Bedrock은 생성형 AI 애플리케이션 개발을 지원하는 관리형 서비스다.사용자는 API를 통해 사전 학습된 여러 생성형 AI 모델을 활용할 수 있으며, AWS의 인프라와 통합되어 높은 확장성과 유연성을 제공한다. AWS Bedrock의 주요 특징들은 다음과 같다. 1. 다양한 LLM 제공: Bedrock..

[LLM] 프롬프트 엔지니어링프롬프트란?프롬프트는 특정 작업을 수행하도록 생성형 AI에 요청하는 자연어 텍스트다.생성형 AI 시스템이 정확하고 연관성 있는 응답을 생성하기 위해서는 컨텍스트와 세부정보가 필요하다. 프롬프트를 체계적으로 설계하면, 보다 의미있고 유영한 결과물을 얻을 수 있기 때문에프롬프트 엔지니어링에서는 AI 시스템에서 원하는 결과를 얻을 때까지 프롬프트를 지속적으로 조정한다. 💡 프롬프트 엔지니어링의 핵심 - 사용자의 요청을 정확하게 파악하고 그에 맞는 질문을 AI 모델에 적용한다.- 사용자는 모델을 활용하여 사용자의 요청을 최적화된 프롬프트로 변환하는 능력을 갖추어야 한다.- 프롬프트를 효과적으로 설계하기 위해, 사용하는 LLM 모델의 강점과 약점에 대한 깊은 이해가 필요하다. 프롬프..