[AI] Azure Foundry

728x90

[AI][Azure] Azure Foundry

안녕하세요, 그동안 이것저것 실습은 계속 하고있었는데, 정리를 못하고있었다가 이번에 Azure AI Foundry 기반 실습을 진행하면서 해당 내용은 포스팅을 하면 좋겠다는 생각이 들었습니다.

요즘 LLM 관련해서는 선택지가 워낙 많다보니, 굳이 비용이 많이 드는 Azure AI Foundry를 써야하나?라는 생각이 먼저 들었습니다. 일단 무료 크레딧을 최대한 활용해보자는 마음으로 ..😊 실습을 진행해보았습니다.

이번 포스팅에서는 Azure AI Foundry가 무엇인지, 그리고 어떤 상황에서 의미가 있는 도구인지를 중심으로 정리해보려고합니다.

Azure AI Foundry란?

Microsoft Foundry | Microsoft Azure

Kickstart innovation with Microsoft Foundry, the AI app and agent factory designed to accelerate AI-driven, cloud-native development across industries.

azure.microsoft.com

Azure AI Foundry는 단순히 LLM을 호출하는 도구라기보다는, 엔터프라이즈 환경에서 AI 애플리케이션을 만들기 위한 통합 개발 플랫폼에 가깝습니다.

예를 들어, LLM API를 직접 쓰는 경우에는 보통 다음과 같은 작업을 개발자가 직접 처리해야합니다.

어떤 데이터를 어디서 가져올지
검색(Retrieval) 로직을 어떻게 구성할지
프롬프트를 어떻게 관리할지
모델 호출 결과를 어떻게 평가할지
운영 환경에서 접근 제어, 보안, 로그는 어떻게 할지

Azure AI Foundry는 이런 요소들을 하나의 콘솔과 프로젝트 단위로 묶어서 다룰 수 있게 해줍니다.

즉, 모델 호출이 아니라 AI 기능을 가진 서비스 하나를 만드는 관점에 가깝습니다.

Foundry의 핵심 개념: Project, Data, Agent

Foundry를 처음 접하면 메뉴가 많아서 조금 복잡하게 느껴질 수 있습니다. 크게 보면 핵심 개념은 단순합니다.

1️⃣Project

모든 작업은 Project 단위로 관리됩니다. 이 안에 모델, 데이터, 에이전트, 평가 설정 등이 묶입니다.

해당 구조를 통해 개발/운영 프로젝트를 분리하거나 팀 단위로 협업 등이 자연스럽게 이루어집니다.

2️⃣Data

Foundry의 가장 큰 특징 중 하나는 데이터를 프롬프트에 넣는 것이 아니라, 연결된 리소스로 다룬다는 점입니다.

대표적인 예가 Azure AI Search인데, 벡터 검색/필터 기반 검색/최신 데이터 반영과 같은 작업을 Agent가 Tool 형태로 사용하게됩니다.

3️⃣Agent

Agent는 개발자가 기본 컴퓨팅 및 스토리지 리소스를 관리할 필요 없이 고품질의 확장 가능한 AI 에이전트를 안전하게 빌드, 배포 및 확장할 수 있도록 설계된 완전 관리형 서비스입니다.

Foundry에서 말하는 Agent는 단순한 챗봇이 아니라, 데이터와 도구를 활용해 판단을 수행하는 실행 단위에 가깝습니다.

Agent는 다음을 할 수 있습니다.

연결된 Search 인덱스를 조회
여러 조건으로 데이터를 필터링
조회 결과를 바탕으로 reasoning 수행
그 결과를 기반으로 답변 생성

즉, Agent는 프롬프트 덩어리라기보다는 검색 + 추론 + 응답을 담당하는 논리적 주체라고 보는게 맞습니다.

🧩 마무리하며

간단한 Q&A 봇, 개인 토이 프로젝트, 빠른 프로토타이핑의 경우 OpenAI API나 LangChain이 더 빠르고 가볍습니다. 하지만 데이터가 지속적으로 업데이트 되거나, 검색 조건이 단순하지 않은 경우에는 Foundry의 Data + Agent 구조가 꽤 설득력 있게 다가옵니다.

특히 회사/팀 단위로 운영을 하게 되는 경우엔 더 유용하게 활용할 수 있을 것 같습니다.

다음 포스팅에서는 저 나름대로의 (?) Foundry 활용법을 고민하여 실습을 진행한 포스팅을 해보고자합니다.

오늘도 긴 글 읽어주셔서 감사합니다.