再発防止策（二次対応）

再発防止策では、調査で特定した問題の根本原因を取り除きます。根本原因を取り除くことで、障害の再発を防止し、安定稼働と工数削減を実現します。

取り急ぎの復旧である一時対応では、同様の問題が再発する可能性が残ります。そのため、復旧後に調査を行い、根本原因の特定を実施。特定した原因を取り除くために二次対応をする形です。

参考：AWSの運用:一次対応
参考：AWSの運用:調査

再発防止策をとらないと、どのような影響があるのか？

まず一つ目は、同様の障害が再発する可能性があります。たとえばメモリ不足で動作が遅くなった場合、対象プロセスやサーバーを再起動することで解消ができます。しかし、必要なメモリ量の確保ができていない場合は、しばらくするとまた動作が遅くなります。

もう一つは、別の事象として現れることがあります。メモリの例でいえば、OOM Killerなどでサービス提供不能な状態に陥る可能性があります。OOM Killerはシステムのメモリが不足しているときに、優先度の低いプロセスを停止させることでシステム全体の停止を防ぐ仕組みです。

では、再発防止の流れをみてみましょう。

■原因調査
まず原因調査が必要です。正確に根本原因を特定しない限り、再発防止はできません。

■再発防止策を検討
根本原因の特定ができたら、再発防止策の検討を行います。メモリ不足の例でいえば、「メモリを増やす」以外にも、「不要なサービスは立ち上げない」「複数台で負荷分散する」「設定をチューニングする」など様々な対策が検討できます。

まず、一度起きた事象は必ず二度目が発生すると考えるようにしましょう。再発防止策はもちろんですが、最低でも再発した時に復旧対応できるような準備をしておくと安心です。

再発防止策で最も重要なのは、原因特定です。メモリ不足の対策で、CPUを強化しても意味はありません。的外れな再発防止策は、「時間」「お金」「人的コスト」を大幅に無駄にします。正確に原因特定を行いましょう。

一度の調査では原因特定できない場合もあります。その場合は、再発時により詳細なデータが取得できるような仕掛けをしておきます。仮説を立てて、事前のデータ取得準備をしておきましょう。

ディーネットのAWS運用代行サービスでは、熟練のエンジニアがお客様のシステムの稼働をサポートしております。

AWSのみならず、サーバー内のログなど多角的な調査から根本原因を特定していきます。その上で再発防止策を実施するので、非常に効果が高い対策をうつことが可能です。

技術的な対応はすべてディーネットが引き受けます。お客様は、対策実施可否の判断をしていただきます。

実施が決まった場合は、日程調整の上、ディーネットにて再発防止策を実施いたします。

この記事では、再発防止策（二次対応）について解説しました。

メモリ不足の時はメモリを増やす必要があります。CPUを増強しても効果はありません。

再発防止策も同様で、調査で根本原因の特定を行い、その原因に対して対策を行う必要があります。的外れの対策を実施すると、「時間」「お金」「人的コスト」が無駄になります。

原因を特定し、適切な対策を取れるように気を付けましょう。