2024.11.14
いまさらNode.jsを知ろう~環境構築も~
2020.06.29
DBAmazon Aurora MySQL のデータベースエンジンの更新の停止は2分くらい
坂東です。
Amazon Aurora MySQL のデータベースエンジンの更新をやってみた。
RDS謎のCPU高負荷を出すようになり、AWSサポートに問い合わせると「不具合だからエンジンバージョンアップしてね」と。
立ち上げるときにクラスターバージョンを「MySQL 5.7.12(デフォルト)」を選んだままで、2年近くアップデートせず放置されてたサービスでした。
いつもはメンテナンスウィンドウなんだけど、手動でどう動いてるのか見てみた。
AWS曰く30秒くらい止まるよとのこと。
>DB クラスター内のすべてのインスタンスでデータベースを再起動する必要があるため、20 ~ 30 秒のダウンタイムが発生します。
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Updates.html
まず検証環境で試してみる。
t3.smallで走らせると、アップデート中にCPUが100%に張り付いた。
数分CPU高負荷でサービスがダウンする・・・
エンジンをポンと差し替えるだけじゃ無く、rds上でゴリゴリとビルドしてるんでしょう。
まあt3だから仕方ないかもねと、r5.xlargeで試したらCPU負荷は15%ぐらいだったから大丈夫。
クラスターのshutdown、restart間は30秒ぐらいなのでAWSの言う通り。
本番環境で実施。
2分ぐらいサービスがダウンした。
shutdownの1分ぐらい前から、10ms程度のクエリが3000ms以上かかるようになって。
おそらくCPU以上にどこか負荷がかかってるんでしょう。
(拡張モニタリング忘れてた)
30秒と信じてエイっとやると想定外のサービスダウンを招くのできちんと計画して実施した方が良いですね。
ダウンタイムのないZDP機能もありますが、高負荷とか、何か動きが複雑なようで、余計ちょっと怖い。
おわり。
【記事への感想募集中!】
記事への感想・ご意見がありましたら、ぜひフォームからご投稿ください!【テクノデジタルではエンジニア/デザイナーを積極採用中です!】
下記項目に1つでも当てはまる方は是非、詳細ページへ!Qangaroo(カンガルー)
【テクノデジタルのインフラサービス】
当社では、多数のサービスの開発実績を活かし、
アプリケーションのパフォーマンスを最大限に引き出すインフラ設計・構築を行います。
AWSなどへのクラウド移行、既存インフラの監視・運用保守も承りますので、ぜひご相談ください。
詳細は下記ページをご覧ください。
最近の記事
タグ検索