2026年4月8日 (水)
最も重要なAI、パブリックマーケット、および暗号の実用的で、ソースリンクされたラウンドアップは、最後の24時間で動きます。
ベンチマーキングおよび安全評価は、より現実的な設定(マルチモーダル科学図、マルチストリームエンボディタスク、およびエージェントランタイム)に拡大し続ける。 同時に、高プロファイルのモデルのドキュメントとセキュリティの書き込みは、同じリリースサイクルの2つの側面として、機能の利益と運用リスク(プロンプトの注射、ツールの誤用、コード再構築アーティファクト)を処理するためにチームを押しています。
AnthropicがClaude Mythos Previewシステムカードとサイバーセキュリティ評価を公開
Claude Mythosのプレビューとモデルのサイバーセキュリティ機能を評価するコンパニオンポストのためのシステムカードPDF:2つの関連出版物が広く循環しました。
システムカードとドメイン固有の評価は、セキュリティ、法的、および製品チームが展開ポリシーを設定するために頼る実用的なアーティファクトがますますますます増加しています。 ツールエージェントのオペレータにとって、この種の文書は、コンクリートガードレールに翻訳する場合にのみ有用です(ブロックされているもの、ログされたもの、実行許可されているもの)。
- 01 Treat model documentation as an input to policy, not marketing: map claims to enforceable controls in your runtime.
- 02 Cybersecurity capability shifts can change your threat model overnight, especially for agents with file/network access.
- 03 The highest risk is usually not the model’s raw ability, but what the surrounding system lets it do by default.
Update your agent release checklist: require a short internal “system card delta” note for every model upgrade (new strengths, new failure modes, and the single most important policy change you will enforce).
FeynmanBenchは、図構造による多項物理推論を対象としています。
新しい arXiv ベンチマークは、フェニマン ダイアグラムを中心としたタスクに関するマルチモーダル LLM の評価を提案します。, ローカル抽出ではなく、グローバルな構造ロジックを強調します。.
科学的または工学的なコピロを構築するチームは、多くの場合、モデルがラベルを読むことができるが、根本的な正式な構造に失敗する壁に当たる。 モデルが実際の分析ワークフローで信頼性があるかどうかを、プレゼンテーションレベルの理解ではなく、強調論論論推論ヘルプが予測するベンチマーク。
- 01 If your product relies on diagrams, evaluate for global consistency (structure and constraints), not just captioning.
- 02 Multimodal performance can look strong on “spot the text” tests while still failing at symbolic or relational logic.
- 03 Better benchmarks are a forcing function: they expose where tool augmentation (calculators, solvers) is still needed.
Create a small internal evaluation set of 20 real diagrams from your domain (schematics, plots, network diagrams). Score models on: (1) constraint validity, (2) step-by-step derivations, and (3) whether answers remain correct when you permute labels.
研究は代理店の安全ギャップを強調します:「安全」LLMは安全でない代理店になることができます
arXiv紙は、チャットアライメントで停止する安全評価が、ユーザーマシン上で実質の特権で実行されているエージェントのより大きなリスク面を欠くと主張しています。
代理設定では、第一次失敗は悪い答えではありません。それは安全でない行動です。 これにより、組織は、サンドボックス、厳格なツール権限、監査可能なトレース、および迅速なインジェクション耐性ワークフローの防御力を強化します。
- 01 Agent safety is an execution problem: permissioning, isolation, and auditability matter as much as model alignment.
- 02 Prompt injection is a systems vulnerability when the agent can read untrusted content and then act.
- 03 Define “unsafe” in operational terms (file writes, network calls, secret access) and test those pathways explicitly.
Add a “privilege budget” to your agent runs: default to no network, no shell, and read-only filesystem. Only grant capabilities per task via an allowlist, and log every elevation with a human-readable reason.
毒された識別子はLMLのdeobfuscationによって主張できます
難読化された JavaScript の変数/識別子名を中毒させた場合、モデルがセマンティックを理解するように見える場合でも、再構築されたコードに生き残る可能性があると報告し、自動リバースエンジニアリングの微妙な完全性リスクを強調する。
ST-BiBenchベンチは、エンボデッドMLLMのマルチストリームバイマニアルココーディネートをベンチマーク
ベンチマークフレームワークは、バイマニュアルタスクで複数の感覚ストリームを横断する空間一時的調整に焦点を当て、計画を強調し、単一ステップの認識ではなく同期を強調しています。