Agents Companion (1): 기본 아키텍처와 필수 운영 전략, AgentOps

최근 구글은 'Agents Companion' 이라는 제목의 Whitepaper를 게시하고 공유했습니다. 해당 자료는 생성형 AI 에이전트의 진화하는 기술과 실제 적용 사례에 대해 다루고 있습니다. 특히 멀티 에이전트 시스템의 개념, 아키텍처, 그리고 협업을 통한 이점들을 중점적으로 설명합니다. 또한, AI 에이전트의 평가 방법론과 AgentOps라는 운영 프로세스의 중요성을 강조하며, 최종적으로는 에이전트를 "계약자"로 발전시키는 아이디어를 제시하며 미래 AI 에이전트의 가능성과 도전 과제를 담고 있어 Agents 관련 공부를 위한 자료로 좋아보여서 이 자료를 토대로 학습하고 블로그로 글을 남겨보려합니다. 이 글은 Introduction, AgentOps 부분을 커버합니다.

해당 자료는 아래의 주소에서 찾아보실수 있습니다.

Agents Companion | Kaggle

Agents Companion

 

AI는 이제 단순히 정해진 답변을 생성하는 것을 넘어, 환경을 인지하고, 스스로 판단하며, 다양한 도구를 활용해 목표를 달성하는 '에이전트'로 진화하고 있습니다. 에이전트는 언어 모델(LLM)의 한계를 뛰어넘어, 추론, 논리, 외부 정보 접근 능력을 결합하여 더 복잡하고 유연한 문제 해결 능력을 제공합니다. 이들은 종종 명시적인 지침 없이도 자율적으로 작동하며 다음 행동을 결정할 수 있습니다.

우선 이 글에서는 에이전트의 기본적인 아키텍처를 살펴보고, 프로덕션 단계로 나아가기 위한 필수적인 운영 개념인 AgentOps에 대해 알아보겠습니다.

생성형 AI 에이전트의 핵심 아키텍처 이해하기 ✨

에이전트의 지능적인 행동과 의사결정은 세 가지 핵심 요소의 조합으로 이루어집니다:

1. 모델 (Model): LLM, 에이전트의 두뇌 🧠
   • 에이전트 프레임워크 내에서 '모델'은 중앙 의사결정 장치 역할을 하는 언어 모델(LLM)을 의미합니다.
   • 이 모델은 명령 기반 추론과 논리적 프레임워크를 활용하여 작동합니다.
   • 에이전트의 요구사항에 따라 범용, 멀티모달 또는 특정 작업에 맞춰 미세 조정된 모델을 사용할 수 있습니다.
2. 도구 (Tools): 외부 세계와의 연결고리 🛠️
   • 도구는 에이전트의 내부 능력과 외부 세계 사이의 격차를 해소하는 데 중요합니다.
   • 외부 데이터 및 서비스와의 상호 작용을 가능하게 하여 에이전트가 실제 정보에 접근하고 처리할 수 있도록 지원합니다.
   • 도구에는 API와 에이전트를 연결하는 확장 기능(Extensions), 특정 작업을 수행하는 함수(Functions), 동적이고 최신 정보에 접근할 수 있는 데이터 스토어(Data stores) 등이 포함될 수 있습니다.
3. 오케스트레이션 계층 (Orchestration Layer): 흐름을 관리하는 지휘자 🎼
   • 오케스트레이션 계층은 에이전트가 정보를 수집하고, 내부 추론에 참여하며, 그 추론을 활용하여 다음 행동이나 결정을 알리는 순환 과정입니다.
   • 메모리, 상태, 추론, 계획을 유지 관리하는 역할을 담당합니다.
   • 프롬프트 엔지니어링 프레임워크를 사용하여 추론 및 계획을 조종하고, 환경 및 작업 완료와의 상호 작용을 촉진합니다.
   • ReAct, Chain-of-Thought (CoT), Tree-of-Thoughts (ToT)와 같은 다양한 추론 기법이 이 계층 내에서 적용될 수 있습니다.

이 세 가지 구성 요소가 함께 작동하여 에이전트가 목표를 설정하고, 정보를 처리하며, 적절한 도구를 사용하여 작업을 수행하도록 만듭니다.

프로덕션으로 가는 길: AgentOps의 중요성 🛤️

생성형 AI 애플리케이션, 특히 에이전트를 구축하는 개발자라면 누구나 아이디어에서 PoC(개념 증명)까지는 비교적 쉽지만, 높은 품질의 결과물을 보장하고 프로덕션 단계로 나아가는 것이 매우 어렵다는 것을 빠르게 깨닫게 됩니다. 품질과 신뢰성은 프로덕션 배포 시 가장 많이 언급되는 문제점이며, 바로 이 문제를 해결하기 위한 프로세스가 'AgentOps'입니다.

AgentOps는 GenAIOps의 하위 범주로서, 에이전트의 효율적인 운영화에 초점을 맞춥니다. 이는 단순히 기술적인 파이프라인을 구축하는 것을 넘어, 사람(People), 프로세스(Processes), 기술(Technologies)의 조화로운 결합을 통해 ML 솔루션을 라이브 프로덕션 환경에 효율적으로 배포하는 것을 의미합니다.

AgentOps, DevOps & MLOps와의 관계 🤝

새로운 관행이 기존 관행을 완전히 대체하는 것은 아닙니다. AgentOps는 기존의 DevOps 및 MLOps를 여전히 필요로 하며, 이들은 AgentOps의 기반(Dependencies)이 됩니다.

• DevOps (Development and Operations): 사람, 프로세스, 기술 통합을 통해 결정적 소프트웨어 애플리케이션의 효율적인 프로덕션화를 목표로 합니다. 모든 'Ops'의 기초입니다.
• MLOps (Machine Learning Operations): DevOps 위에 구축되며, ML 모델의 효율적인 프로덕션화에 집중합니다. ML 모델의 출력이 비결정적이며 입력 데이터에 의존한다는 점이 주요 차이점입니다.
• FMOps (Foundation Model Operations): MLOps를 확장하여 사전 훈련되거나 사용자 정의된 기반 모델(FM)의 효율적인 프로덕션화에 초점을 맞춥니다.
• GenAIOps (Generative AI Operations): 생성형 AI 솔루션 전반의 운영을 다루며, PromptOps, RAGOps, AgentOps 등을 포함하는 더 넓은 범주입니다.
  • AgentOps (Agent and Operations): GenAIOps의 하위 범주로서 에이전트의 효율적인 운영화에 특화되어 있습니다.
  • RAGOps (RAG and Operations): 검색(retrieval) 및 생성(generation) 프로세스를 포함하는 RAG 솔루션을 효율적으로 운영하는 데 중점을 둡니다.
  • PromptOps (Prompt and Operations): 프롬프트 저장, 관리 및 최적화를 포함하여 프롬프트를 효과적으로 운영하는 데 중점을 두는 GenAIOps의 하위 범주입니다. -> 참고: Prompt에 대한 핵심적인 프롬프트 지침(목표, 프로필, 지침) 수정, 보완, 개선은 AgentOps의 핵심 추가 구성 요소로서 AgentOps에서 이루어져야합니다.

에이전트가 도구를 사용하여 API를 호출하는 경우, 이는 비에이전트 소프트웨어와 동일한 방식의 API를 사용하는 경우가 많습니다. 따라서 인증 및 비밀 관리, 보안, 개인 정보 보호, 예외 처리, 스로틀링, 할당량 및 확장성과 같은 문제는 여전히 중요하며, 에이전트 설계 외에도 API 설계에 대한 세심한 주의가 필요합니다.

AgentOps는 DevOps 및 MLOps의 기반 위에서 다음과 같은 에이전트 고유의 핵심 추가 구성 요소에 초점을 맞춥니다:

• 내부 및 외부 도구 관리 🛠️: 에이전트가 사용할 도구를 효율적으로 관리하고 접근 가능하도록 합니다.
• 에이전트 브레인 프롬프트 (목표, 프로필, 지침) 및 오케스트레이션 🧠: 에이전트의 목표와 행동 방식을 정의하는 프롬프트 설계와 에이전트의 내부 오케스트레이션 로직을 관리합니다.
• 메모리 관리 💾: 에이전트의 단기 및 장기 메모리를 관리하여 지속적인 상호작용과 학습을 지원합니다.
• 작업 분해 (Task Decomposition) 쪼개기: 복잡한 작업을 에이전트가 처리할 수 있는 더 작고 관리 가능한 하위 작업으로 분해하는 프로세스입니다.

이러한 구성 요소 외에도 AgentOps는 버전 제어, 자동 배포(CI/CD), 테스트, 로깅, 보안 및 메트릭과 같은 DevOps 및 MLOps의 필수 역량을 포함합니다. 시스템의 성능, 비즈니스 결과, 사용자 여정의 중요한 단계를 측정하는 메트릭은 에이전트의 최적화와 개선에 매우 중요합니다.

---

이번 편에서는 생성형 AI 에이전트의 기본적인 아키텍처와 프로덕션 단계로 나아가기 위한 필수적인 운영 개념인 AgentOps에 대해 살펴보았습니다. 에이전트 운영의 핵심에는 '측정하고 최적화한다'는 원리가 있으며, 이를 위해 에이전트의 성능을 효과적으로 측정하고 평가하는 방법이 중요해집니다.

다음 편에서는 AgentOps의 중요한 부분인 에이전트 성공 지표 및 효과적인 평가 방법에 대해 더 자세히 알아보겠습니다.

Agents Companion (2): 에이전트를 평가하기, Agent Evaluation

Agents Companion (2): 에이전트를 평가하기, Agent Evaluation

(해당 글은 구글의 Agents Companion White Paper 내용을 정리한 문서이며, 일부 필요에 따라 내용을 재배치하였습니다.)