[리뷰]AI 시스템 설계

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

 

 

책 표지

이번엔 'AI 시스템 설계'라는 책을 읽어보았다.

 

 

AI 프로젝트를 어떻게 설계해야 하는지에 대한 내용을 다룬다. 특히 경험을 통해 AI 시스템의 실패 원인을 분석하고  '하네스' 구조 방식을 제안하며 이를 바탕으로 AI 시스템을 운영 가능한 설계 방식을 소개한다.

 

우리가 AI 시스템 개발 및 적용에 실패 하는 이유는 기존의 시스템과의 차이에서 부터 시작한다. 기존의 엔지니어링과의 간극에서 시작된 문제는 AI 시스템 개발 및 운영을 더욱 어렵게 만들고 결국 실패하고 만다. 이 책에서는 기존의 테스트, 특히 TDD와 비교하며 AI 시스템만의 검증 특징에 대해 알려주고 이에 대한 대응법을 제시로 시작한다.

 

AI 시스템이 기존의 검증 방식으로 검증하기 어려운 이유

 

 

AI시스템의 비결정성 이유에 대한 설명1

 

 

 

 

 

그 과정에서, 이 책에서 강조하고자 하는 방식은 '하네스' 구조이다.

AI 시스템을 개발, 운영 하고 있는 개발자라면 이미 은연중에 하고 있는 방식들이 있겠지만 이렇게 필요한 설계들을-비공식 구조들- 구조화하여 개발, 관리 함으로써 시스템 성공률을 높이고자 한다. 이렇게 데모에서만 성공하는 AI 시스템을 실제 환경에서도 성공할 수 있도록 한다.

 

다시 한번 정리하자면, 데모에서 사람이 비공식적으로 수행한 입력 통제, 반복 실행, 출력 평가, 실패 처리를 명시적이고 반복가능한 구조로 만든것이다.

 

단순하게 '모델 결과가 이상하네?' 라기 보다 에이전트, 아키텍처의 어떤 부분에서 어떤 실패를 하고 있는지 찾아내는 것에 초점을 두고 있다. AI 시스템의 입력부터 운영 환계까지의 실패지점을 짚어보고 실패지점, 감지방법, 대응방법에 대해 검토한다.

 

AI 시스템의 실패 지점

RAG 파이프라인의 다섯 단계

 

그리고 LLM 시스템-RAG 시스템 포함-, AI Agent 구조에서의 각 파이프라인 단계를 나누고 실패유형, 적합한 대응을 모두 분류하여 독자로 하여금 잠재적인/혹은 발생하고 있는 문제점들에 대해 대비하고 예측할 수 있도록 도와준다.

RAG에 대한 내용도 포함하고 있는데 결국 Naive RAG에서 Modular RAG로의 발전이 하네스 구조의 필요성에 의해 발전된 결과로 볼 수 있는 것 같다.

 

실행 자유도와 이에 따른 통제 비용

신뢰할 수 있는 AI 시스템의 설계원칙에 대해 정의를 내리고 동작의 품질, 시스템 신뢰성 진단, 실행 자유도를 어느정도 통제할 것인가에 대한 내용도 포함한다. 이러한 내용들이 AI 시스템 설계 단계에서 어느 항목의 자유도를 높일 것인지(아니 높여야 하는지) 트레이드 오프를 결정하는데 도움을 줄 수 있다. 트레이드 오프가 없는 완벽한 시스템은 없다.. 다만 시스템에서 더 중요한 것을 선택하고 문제가 되는 부분은 설계과정에서 미리 대응을 할 수 있도록 한다.

(추상적인 요구사항들을 설계 가능한 요구로 변환하는 방법을 알려주며 어떻게 각 항목의 문제점을 대체할 수 있을지 안내 포함)

 

 

이 외에도 모델로만 문제나 잠재적 위험을 해결할 수 없다고 안내하고 있다. 위험은 설계로 다룰 수 있고, 관리하고 유지 보수 할 수 있는 환경을 만드는데 집중한다. 그리고 실제로 그렇게 프로젝트를 진행할 경우와 그렇지 않을 경우의 사례를 보여주며 도메인에 따른 아키텍처 차이에 대해서도 포함한다.

 

 

 

 실제로도 AI 시스템을 운영해보면 모델 코드를 수정한다고 모든 이슈가 해결되지 않는다. 글루 코드나 시스템 단계에서의 설계가 매우 중요한데, 이 책에서 해당 부분을 예시와 해결방법까지 잘 설명해 주고 있다는 생각이 든다. 왜 기존의 테스트 방식 적용이 어려운지, 우리가 자주 하는 실수가 뭐고 왜 그 실수가 발생하는지, 어떤 단계로 시스템을 나누고 검증하고 개선하는지를 체계적인 방식으로 구조화 하였다. 나 또한 프로젝트를 하면서 실패했던 경험이 떠오르기도 하고 이 책을 더 일찍 접했으면 더 좋았을 것 같다는 생각이 든다.

 책 내용이 많은 편인데, 내 시스템에 필요한 부분을 먼저 읽는 방식도 충분히 가능해보인다.