この度は大量のタイムアウトエラー発生によりお客様を初め関連各所に多大なご迷惑をおかけし、誠に申し訳ございません。
2021/11/1 18:22 までにエラーの発生は収束しております。
発生日時：2021/11/1 15:16 〜 2021/11/1 18:22
事象：APIからの応答がタイムアウトエラーとなる。16:03頃まで大量のタイムアウトエラーが発生、以降18:22までに収束。
原因：長時間、APIへの秒間リクエスト数が想定の最大数を超え、APIからデータベースへのアイドル接続が枯渇、大量のAPIリクエストがタイムアウトエラーとなった。
対処：現行Kubernetesクラスタ内のAPIインスタンスの手動スケールアウト、スレーブデータベースの最大接続数を増やしフェイルオーバーを実施してタイムアウトを緩和。Kubernetesクラスタの手動スケーリングを実施しタイムアウトを緩和。
現行想定の秒間最大3,000リクエストを秒間最大100,000リクエスト程度までスケールアウト。
その後、大量のAPIリクエストを行っているお客様を特定、状況確認し、お客様システムでの試験工程でお客様としても想定外の負荷試験がなされたとの報告を受領、一時的にAPIキーの制限を実施。
今後、最大リクエスト回数とリクエストレート制限なしのプランについて、お客様の利便性、必要性等十分考慮し、プランラインアップの変更を検討いたします。
（すでにリクエスト回数無制限、リクエストレート無制限でご利用のお客様のプラン変更は予定しておりません。）