멀티 에이전트 LLM 설정에서 악성 지침을 정상적인 동일 도메인 콘텐츠처럼 보이게 만들어 탐지를 피하는 '도메인 위장 주입' 공격에 대한 최신 논문이 발표되었습니다.

• 01 익숙한 도메인에서 오거나 의미적으로 주제에 부합하더라도 모든 검색된 텍스트를 신뢰할 수 없는 입력으로 취급하십시오.
• 02 멀티 에이전트 아키텍처는 한 개의 서브 에이전트가 오염될 경우 독성 지침을 '내부 메시지'로 전달하여 위험을 증폭시킬 수 있습니다.
• 03 공격 탐지는 반드시 격리(containment) 전략과 결합되어야 하며, 주입 공격 성공 시에도 피해 범위를 최소화해야 합니다.
• 04 공격자는 정상적인 비즈니스 문서나 시스템 메시지의 구조를 모방하여 보안 필터의 문맥 분석을 무력화합니다.

LLM 에이전트의 데이터 송신(egress) 과정에서 서식, 순서, 타이밍, 인코딩 등을 활용해 데이터를 숨기는 은닉 채널을 감시하는 애플리케이션 계층 참조 모니터가 제안되었습니다.

• 01 '허용된 출력'이 반드시 '안전한 출력'은 아닙니다. 데이터는 단어가 아닌 구조와 메타데이터에 숨겨질 수 있습니다.
• 02 송신 제어는 단순한 내용 검사를 넘어 프로토콜(스키마, 정규화, 길이 제한)을 인식하는 수준까지 진화해야 합니다.
• 03 데이터 유출이 사고 모델에 포함된 경우, 입력 단계뿐만 아니라 경계면에서의 출력 또한 모니터링하고 제약해야 합니다.
• 04 멀티모달 에이전트의 경우 이미지 픽셀의 미세한 변화나 오디오 아티팩트를 통한 데이터 은닉 위험이 특히 높습니다.

멀티 타겟 웹 CTF(해킹 방어) 환경과 단순 결과표를 넘어서는 광범위한 평가 프레임워크를 통해 에이전트의 실제 행동을 더 사실적으로 평가하는 벤치마크들이 등장하고 있습니다.

• 01 높은 작업 완료율이 반드시 좋은 성능을 의미하지는 않습니다. 에이전트가 위험하거나 비반복적인 단계를 거쳤는지 확인해야 합니다.
• 02 평가 지표에 도구 호출 예산, 재시도 횟수, 권한 사용 수준, 인간 지원 요청 빈도 등 프로세스 신호를 포함해야 합니다.
• 03 관리자 권한을 가진 에이전트를 배포한다면 시나리오에 없는 '알 수 없는 위험'이 포함된 환경에서 벤치마킹을 수행하십시오.
• 04 에이전트의 복원력(Resilience)과 오류 수정 능력을 평가하기 위해 의도적으로 잘못된 정보를 주입하는 스트레스 테스트가 권장됩니다.