개발자가 자신의 작업 환경에 코딩 에이전트를 어떻게 구성해 쓰는지 정리한 글로, 오늘 AI 소스 풀에서 Hacker News를 통해 상위로 집계됐다.

• 01 에이전트를 실제 작업에 붙일 때 성패를 가르는 것은 모델 성능보다 지시문과 컨텍스트 파일 설계라는 점을 보여준다.
• 02 도입 여부는 모델 라우팅, 벤치마크 설계, 조달, 안전성 검토, 출시 일정 중 어떤 워크플로를 실제로 바꾸는지로 좁혀 판단해야 한다.
• 03 모델·에이전트·벤치마크 관련 주장은 헤드라인 성능 수치가 아니라 내부 과업 성공률과 대조해 검증하는 편이 낫다.
• 04 개인 개발자의 관찰에서 출발한 내용이므로 팀 단위로 확장하려면 재현 가능한 절차로 옮겨 다시 검증할 필요가 있다.

과거 출시 이력을 통계적으로 분석해 차기 AI 모델의 공개 시점을 추정하는 프로젝트로, 오늘 AI 소스 풀에서 Hacker News를 통해 집계됐다.

• 01 모델 교체 주기를 감으로 잡던 로드맵 논의에 확률 기반의 공통 기준선을 제공한다는 점이 실질적 쓸모다.
• 02 예측치는 과거 릴리스 패턴의 외삽이므로 랩의 전략 변경이나 규제 이슈 같은 구조적 변수는 반영되지 않는다.
• 03 출시 시점 가정은 마이그레이션 비용, 계약 갱신 시기, 벤치마크 재실행 일정과 묶어서 봐야 의미가 있다.
• 04 특정 날짜를 확정값처럼 쓰기보다 재계약·재평가 시점을 결정하는 구간 정보로 활용하는 편이 안전하다.

Harvey의 첫 자체 포스트트레이닝 모델로, LAB 과제 완수율을 기존 대비 약 두 배로 끌어올렸다고 밝혔으나 현재 독립적으로 검증되는 벤치마크 수치는 하나뿐이다. 오늘 AI 소스 풀에서 MarkTechPost를 통해 집계됐다.

• 01 범용 대형 모델을 그대로 쓰는 대신 오픈 베이스 모델을 도메인 데이터로 후속 학습하는 접근이 실제 제품에 적용된 사례다.
• 02 과제 완수율 2배라는 수치는 자체 벤치마크 기준이며, 외부에서 재현 가능한 항목은 제한적이라는 점을 감안해야 한다.
• 03 장기 호흡의 법률 업무처럼 단계가 긴 과업에서는 단일 응답 품질보다 과제 완수율이 더 실질적인 지표가 된다.
• 04 특화 모델 도입을 검토한다면 벤더 벤치마크가 아니라 자사 문서·워크플로로 구성한 평가셋에서 비교해야 한다.