人類は、8月から9月上旬から9月上旬から一部のユーザーのためにクロードの回答が品質に浸された理由を説明する率直なポスト死亡を発表しました。同社は、意図的なスロットルではなく、3つの別々のインフラストラクチャのバグが、さまざまなモデルファミリにわたって断続的な問題を引き起こし、すべての修正が展開されていると述べています。
最初の問題は誤ったルーティングでした。一部の短いコンテキスト要求は、長いコンテキストサーバーに誤って送信され、出力の動作と一貫性が微妙に変化しました。 2番目のバグは、時折言語外または不正なテキストを作成した特定のTPU労働者の「出力腐敗」につながりました。 3番目の問題には、特定のマルチステップタスクがパフォーマンスの低下またはタイムアウトを行うために、検索の劣化とツールオーケストレーションが含まれていました。
人類は、需要や時刻のためにモデルの質を低下させることは決してないことを強調しています。代わりに、ルーティングとインフラの回帰を組み合わせて、モデルが負荷を負っているという認識を作成しました。ステータスページには、より詳細なインシデントノートが含まれるようになりました。これにより、顧客は特定のウィンドウとディップを相関させることができ、内部ガードレールを追加して、クロスコンテキストの誤った誤った誤った誤ったものをより早く検出しました。
なぜこれが重要なのか：生産AIの信頼性は、モデルの問題と同じくらいインフラの問題です。ルーティング、アクセラレータ、またはオーケストレーション層のしゃっくりの場合、同じプロンプトが異なる答えを生み出すことができます。透明性は、バイヤーが較正されるのに役立ちます。壊れたもの、頻度、モデル、および緩和が繰り返しを防ぐかどうか。
Anthropicの修復計画には、複数のコンテキストの長さで一般的な顧客プロンプトを模倣する自動テスト、ルーティングの変更のためのより厳格なロールアウトゲート、および生産を破損する前に隔離されたヘルスチェックが含まれます。同社はまた、より明確なインシデントコミュニケーションを誓約し、有給の顧客が品質に影響を与えるバグに関する見通しが必要であることを認めています。
企業にとって、持ち帰りは実用的です。モデル/バージョンと領域をログで追跡するため、「AIランダム性」に起因するのではなく、インシデントに奇妙に結び付けることができます。プロンプトの決定論的なテストスイートを維持して、ドリフトを早期に見つけるようにしてください。そして、建築家のフォールバック（プロバイダー、モデル、または地域）は、単一のインフラの癖が生産ワークフローを失速させません。
結論：これは、脳の衰退モデルではありませんでした。それはインフラストラクチャでした。修正と新しいセーフガードは再発を減らす必要がありますが、LLMプラットフォームを他の重要な依存関係と同様に扱うことはリマインダーです：監視、テスト、多様化。
続きを読む：
