arXiv에 발표된 논문은 LLM 에이전트의 '증거 근거 설정 결함'을 벤치마킹하기 위한 확장 가능한 프레임워크를 제안하며, 에이전트가 파일, 웹 페이지, API, 로그와 같은 환경 제공 관측값을 어떻게 섭취하고 조치를 취하는지에 집중합니다.

• 01 환경 입력값을 기본적으로 적대적인 것으로 간주하십시오. 에이전트는 내용뿐만 아니라 출처, 신선도, 권한을 추적해야 합니다.
• 02 근거 설정(Grounding)은 시스템적인 문제입니다. 검색 정책, 컨텍스트 수용 규칙, 실행 게이트가 모델 자체만큼 중요합니다.
• 03 에이전트가 되돌릴 수 없는 작업을 수행하는 경우, 증거 신뢰도가 낮을 때 명시적인 검증 단계(교차 체크, 확인 등)가 필요합니다.
• 04 오류 발생 시 에이전트가 어떤 증거를 바탕으로 판단했는지 추적할 수 있는 계측 시스템을 구축해야 합니다.

AgentRx는 시계열 EHR 데이터, 영상, 방사선 보고서, 임상 기록 등 다양한 이기종 모달리티를 포괄하는 멀티모달 임상 예측 작업용 LLM 에이전트 벤치마크 연구를 소개합니다.

• 01 멀티모달 파이프라인은 실패 모드를 증폭시킵니다. 오류는 단순히 '환각'뿐만 아니라 모달리티 융합, 컨텍스트 누락, 가짜 상관관계에서 발생할 수 있습니다.
• 02 규제 대상이거나 높은 신뢰가 필요한 맥락에서 제품을 출시할 때는 정확도뿐만 아니라 캘리브레이션과 불확실성 처리 능력을 평가에 포함해야 합니다.
• 03 에이전트 성능은 워크플로우 적합성과 함께 판단되어야 합니다. 해석 가능성, 감사 추적, 안전한 에스컬레이션 경로가 품질의 일부입니다.
• 04 의료 데이터의 민감성을 고려할 때, 에이전트의 데이터 접근 및 처리 과정에 대한 엄격한 보안 평가가 병행되어야 합니다.

TechCrunch에 따르면 노션은 AI 에이전트, 외부 데이터 소스 및 맞춤형 코드를 노션 워크스페이스에 직접 연결하기 위한 개발자 플랫폼을 출시했습니다.

• 01 '통합으로서의 에이전트'가 기본 패키징 방식이 되고 있습니다. 배포는 문서, 작업, CRM 등 이미 업무가 일어나는 곳을 따릅니다.
• 02 권한 관리와 감사 가능성이 필수 요소가 됩니다. 누가 에이전트에게 무엇을 하게 했고, 언제 했는지 조사할 수 있어야 합니다.
• 03 경쟁 우위는 원시 모델 성능이 아니라 신뢰성과 거버넌스에서 점점 더 많이 발생할 것입니다.
• 04 플랫폼 종속성이 강화됨에 따라 기업들은 데이터 주권과 에이전트 상호운용성 사이에서 균형을 찾아야 합니다.