AI Agent가 맥락을 유지하는 법

에이전트가 사용자와의 대화 맥락을 유지하는 방법은 다양하다. 그동안 사용했던 기술 스택들도 정리해보고, 최근에 내가 진행한 개발에서는 어떤식으로 이 문제를 해결해 나갔는지도 정리해보려 한다.

Azure

Thread & Assistant

솔루션 회사에서 ai 챗봇을 개발할 때 적극 활용했던 기술 스택들이다.

스레드는 특정 대화의 메시지 히스토리를 보관하는 개념이고, 어시스턴트는 어떤 모델을 쓰고, 어떤 지시사항과 도구를 가진 AI인지 정의하는 곳이다. 비유를 들자면 스레드는 채팅방, 어시스턴트는 대화 상대라고 생각하면 좋을 것 같다.

Response API