2026年5月9日 (土)
新しい研究は、より信頼性の高いツールを使用してエージェント(およびより良い安全評価)を対象としていますが、製品チームはChatGPTの「Trusted Contact」やAIチップ内で市場が回転するなどのエスカレーション機能を議論しています。
エージェントの信頼性はテーマです: 紙は、制約遵守、スケールでのスキル検索、およびベンチマークレス安全スコアリングに焦点を当てていますが、OpenAIは、運用とプライバシーの質問を上げ、オプトインの「信頼のコンタクト」エスカレーション機能を出荷しています。
ChatGPTは、オプトイン「Trusted Contact」エスカレーション機能を導入
OpenAIは、システムが深刻なセルフハームや自殺関連の懸念を検出する場合、通知される可能性がある「Trusted Contact」を設計できる大人のChatGPTユーザーのためのオプションの安全機能を起動しています。
エスカレーション機能は、エッジケースに害を及ぼす可能性がありますが、自動信号が現実世界の介入を引き起こした場合、虚偽の正当性、不要な開示、および無明な説明可能性など、新しい障害モードも導入します。
- 01 Treat automated escalation as a high-stakes classifier problem, not a UI toggle. False positives can be socially damaging, and false negatives create a misleading sense of coverage.
- 02 Consent design matters as much as detection. Opt-in, clear revocation, and transparent descriptions of triggers are essential to user trust.
- 03 Organizations integrating similar features should pre-plan incident handling: who gets notified, what guidance is provided, and what evidence is logged for review, without turning sensitive chats into a surveillance substrate.
If you build AI products with safety escalation, run tabletop exercises for false-positive scenarios (relationship conflict, coercion, minors using adult accounts). Define minimum necessary data retention, and provide a fast ‘disable + delete’ path for users.
「コンストラント・デケイ」がバックエンドのコードジェネレーション・エージェントを破る研究が警告
LLM エージェントが、構造的制約(設計パターン、データベーススキーマ、ORM)を徐々に解決しながら、機能的に正しいバックエンドコードを生成できる新しい論文が議論されます。
生産では、必要な構造から漂流する「最も右」のコードは高価です。メンテナンスの負担を増加させ、微妙なセキュリティやデータ一貫性の問題を導入し、統合レビューを難しくなります。
- 01 Evaluations that score only end behavior encourage agents to ‘cheat’ on non-functional requirements. Structural correctness needs explicit measurement.
- 02 Constraint compliance is not a one-time check. Agents can start aligned and then drift across multiple edits, tool calls, or refactors.
- 03 Teams should encode constraints in machine-checkable gates (lint rules, schema tests, architecture checks), rather than relying on prompt wording or code review alone.
If you deploy coding agents, add ‘structure tests’ to CI (schema migration checks, ORM model parity, layering rules). Log agent diffs and enforce policy checks on every tool write, not just at PR time.
ベンチマークレス安全スコアリングは、ラベルが存在する前にモデルを比較する方法を正式化
紙は「ベンチマークレスの比較安全スコアリング」を正式化し、そのシナリオベースの監査は、地上のラベルなしでも展開証拠として役立つことができる条件を指定します。
多くの展開では、ラベル付きベンチマークがまだ存在しない特定のドメインまたは言語で、候補モデル(または微調整)を比較するための防御可能な方法が必要です。
- 01 Safety scores without ground-truth labels are only meaningful under a strict contract: fixed scenario pack, rubric, auditor, judge, sampling, and rerun budget.
- 02 Changing any audit component can invalidate comparisons, so reporting needs to be versioned and reproducible.
- 03 This framing encourages teams to treat safety evaluation like measurement infrastructure, not an ad hoc one-off.
If you are selecting models for deployment, publish a ‘safety scorecard spec’ (scenario set version, rubric, judge model, sampling settings). Require reruns after model updates, policy changes, or prompt/template edits.
LLMエージェントにおけるスキルリトリーバルのスキルレトルベンチマーク
堅調な文脈と遅延予算のライブラリから「スキル」の正しい取得に焦点を当てた大規模なベンチマーク、エージェントツールエコシステムが成長するにつれて実用的な課題を反映しています。