데이터브릭스, AI 에이전트 성능 높이는 메모리 스케일링 제시

주장데이터브릭스는 인공지능 에이전트의 성능이 모델 규모나 추론 능력뿐만 아니라 외부 메모리에 저장된 정보량에 따라 결정된다는 메모리 스케일링 개념을 제시합니다. 기업 환경에서 축적한 지식과 사용자 피드백을 에이전트가 학습하면 더 나은 결과를 도출할 수 있습니다.

팩트메모리 스케일링은 모델 가중치나 현재 컨텍스트 윈도우와 별개로 추론 시점에 에이전트가 상호작용하는 지속적인 정보 저장소를 의미합니다. 이는 파라미터 스케일링과 추론 시간 스케일링을 보완하는 새로운 에이전트 설계 축입니다.

팩트이 방식은 모델 파라미터를 지속적으로 업데이트하는 연속 학습 방식과 차별화됩니다. 모델 가중치를 고정한 상태에서 공유 외부 상태를 확장하므로 한 사용자의 작업 패턴을 다른 사용자에게 즉시 적용할 수 있습니다.

팩트긴 컨텍스트 윈도우를 사용하는 방식은 많은 토큰을 프롬프트에 포함해 비용을 높이고 추론 품질을 저하시킵니다. 반면 메모리 스케일링은 선택적 검색을 통해 작업에 중요한 고신호 정보만을 추출하여 효율성을 극대화합니다.

팩트메모리는 대화 로그와 같은 원시 기록인 에피소드 기억과, 이를 통해 추출한 일반화된 기술과 사실인 의미 기억으로 구분합니다. 각각의 기억 유형에 따라 서로 다른 전략을 적용해야 합니다.

교차검증단순히 메모리 양을 늘리는 것이 항상 성능 향상으로 이어지지는 않습니다. 저품질 데이터는 잘못된 학습을 유발할 수 있고 저장소가 커질수록 정보 검색의 복잡도가 증가하는 문제가 발생할 수 있습니다.

팩트데이터브릭스는 이를 해결하고자 인간 피드백을 반영하는 에이전트 학습 기술인 ALHF와 MemAlign, 자연어 지시사항을 정교한 검색 쿼리로 변환하는 Instructed Retriever 기술을 개발했습니다.

팩트데이터브릭스의 Genie Spaces를 대상으로 한 실험에서 메모리 스케일링을 적용하자 정확도가 70%까지 상승하며 전문가가 작성한 기준치를 5% 상회했습니다. 평균 추론 단계는 20단계에서 5단계로 감소하여 작업 효율성이 개선되었습니다.

팩트라벨링되지 않은 실제 사용자 로그를 활용한 실험에서도 유사한 성능 향상을 확인했습니다. 자동화된 필터링을 거친 고품질 로그만으로도 전문가가 수동으로 작성한 도메인 지침을 대체할 수 있습니다.

출처데이터브릭스 공식 블로그의 메모리 스케일링 관련 기술 보고서를 교차 검증했습니다.