2026年5月16日 (土)
製品分布は、チャットから高予算のワークフロー、特に財務にシフトしていますが、調査は、交渉、認知、および対価な圧力の下でのベンチマークのエージェントの動作に競争し続けます。 実用的なテイクアウトは、モデルの出力だけでなく、コアリスクサーフェスとして、統合(アカウント、ツール、およびパーミッション)を扱うことです。
製品分布は、チャットから高予算のワークフロー、特に財務にシフトしていますが、調査は、交渉、認知、および対価な圧力の下でのベンチマークのエージェントの動作に競争し続けます。 実用的なテイクアウトは、モデルの出力だけでなく、コアリスクサーフェスとして、統合(アカウント、ツール、およびパーミッション)を扱うことです。
OpenAIはチャットGPTに個人的な財務ワークフローをもたらします(コネクティッドアカウントで)
OpenAIとTechCrunchは、財務アカウントを接続し、支出、サブスクリプション、今後の支払い、およびダッシュボードのようなビューでポートフォリオのパフォーマンスを提示できるChatGPTで新しい個人財務経験を記述しています。
アカウント接続は、アクションアドジャセントシステムにアシスタントをオンにします。 裏側は、より良いパーソナライズと手動のステップが少ないです。 欠点は、モデルが現在、一般的なアドバイスではなく、実質的なバランスと取引に基づいているので、エラー、プロンプト注射、および誤った勧告のためのより大きなブラスト半径です。
- 01 Once you connect accounts, the primary risk shifts from “bad advice” to “bad actions” that can be taken or strongly suggested with high confidence.
- 02 Financial context increases user trust, so hallucinations and misclassifications become more costly. Clear provenance and uncertainty signaling matter.
- 03 Security expectations rise: you need strict permissioning, audit logs, and careful handling of third-party data flows (aggregators, OAuth scopes, export paths).
If you are shipping an AI feature that touches user finances, design for safe defaults: read-only by default, explicit confirmations for any action suggestions, always show the underlying transaction/statement evidence, and add “sanity checks” (e.g., unusual spend detection thresholds, duplicated charges, category confidence) before surfacing insights.
A new personal finance experience in ChatGPT
OpenAI announcement of a personal finance experience in ChatGPT with connected accounts.
OpenAI launches ChatGPT for personal finance, will let you connect bank accounts
TechCrunch coverage of account connection, dashboards, and feature details.
Zyphraは、MoEの拡散モデルをオートレグレッシブLMから変換(大きなスピードアップで)
ZyphraはZAYA1-8B-Diffusion-Previewをリリースしました。これは、自動回帰型LLMから変換された混合型拡散モデルで、最大7.7×推論スピードアップ対自動回帰解を報告しました。
拡散スタイルのデコードは、特定のワークロードのための実質的に高速な推論で同等の品質を提供することができる場合、それは展開経済を変えます。 また、レイテンシー、品質、故障モードも標準の次世代とは異なる。
- 01 Speed claims need apples-to-apples measurement (hardware, batch sizes, output length, and quality targets).
- 02 Diffusion-style generation can shift bottlenecks from memory bandwidth to compute, which may benefit newer GPUs where FLOPs scale faster than memory.
- 03 Operationally, a “different decoder” means different tuning knobs, monitoring signals, and robustness tests, so teams should not assume drop-in equivalence.
If you run latency-sensitive inference, add a “decoder bake-off” to your eval suite: fix a target quality bar (human preference or task metric) and compare cost-per-1k outputs, p95 latency, and error modes (repetition, factuality, refusal behavior) across autoregressive vs diffusion variants.
新たなベンチマークは、マルチエージェントの設定で戦略的な行動と堅牢性を標的
いくつかの新しい arXiv ペーパーでは、LLM の集合体 (GAMBIT) における対物堅牢性、および Tutoring 文脈における sycophancy リスクの評価に関するマルチエージェントのベンチマークを紹介します。
製品は、有能なワークフローに移行するにつれて、失敗モードは、戦略的操作、欺瞞、および社会的な圧力について、単一の誤った回答についてより少なくなります。 交渉、広告代理店、および「権限圧力」を含むベンチマークは、実際の展開条件に近いです。
- 01 Multi-agent systems can fail even if each individual model looks safe in isolation, because dynamics amplify weaknesses (trust, persuasion, collusion).
- 02 Sycophancy is not just an alignment curiosity, it can become a safety issue when the system is positioned as an educator or advisor.
- 03 Robustness evaluation should include adaptive adversaries that change tactics after they see defenses, not just fixed attack scripts.
If you deploy multi-agent workflows (planner plus tools, or ensembles), test with “red-team agents” that can bargain, mislead, or apply social pressure. Log full dialogue traces, define explicit stop conditions, and add a policy that forces independent verification for high-stakes claims (citations, cross-check steps, or tool-based validation).
Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining
Multi-agent benchmark covering auctions, bargaining, bluffing, and long-horizon interaction.
GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives
Benchmark for adversarial robustness in multi-agent collectives with multiple evaluation modes.
Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks
Position paper arguing for sycophancy benchmarks in LLM tutoring to prevent harmful agreeableness.
ExploitBench は LLM の悪用剤を評価するための機能梯子を提案
ベンチマークは、エージェントが再利用可能なプリミティブを構築し、制御できるかどうかを測定することを目的として、単一のバイナリではなく、増分機能として悪用します。
SWE-Chainのターゲットはコーディング エージェントの評価のためのパッケージのアップグレードをチェーンしました
エージェントが独立した問題ではなく、チェーン、リリースレベルの依存性アップグレードを処理する必要がある現実的なメンテナンス作業を目的としたベンチマーク。
NeuroState-Benchは、エージェントプロファイルの「約束の完全性」を評価します
エージェントが決定的なサイド・クエリ・プローブを介したマルチターン・タスク間で、その約束を維持するかどうかをプローブするベンチマーク。