Hinemosでのシステム監視設定

本記事ではHinemosサーバからの監視設定方法についての説明となります。

1.Hinemosサーバの導入方法

Hinemos、CentOS7の環境を導入していない場合は以下の記事に従って導入してください。
まずWindows10のHyper-V環境へのCentOS7の導入です。

Windows 10のHyper-V環境の有効化方法

2019-12-30

この投稿ではMicrosoft Windows 10環境へのHyper-Vの有効化方法について説明する。他の仮想化ツールとしてはVMwareが有名である。しかしVMwareは一部の個人ユーザーを除いて無料ではなく、コストがかかるためHyper-Vを代わりに使用する方がよい。

umilcl.com

続いてHinemosのインストール方法となります。記事内のリンクにてSNMPや監視対象設定についても実施ください。

CentOS7環境におけるHinemos導入方法

2020-01-05

この投稿では CentOS 7へのHinemosマネージャ、Web、Agentのインストール方法を説明する。

umilcl.com

2.Hinemosから管理対象の状態監視

1.PING監視の設定

Hinemosは多くの監視機能を有していますが、ここでは最もシンプルなpingの応答があるかどうかを確認するPING監視の設定を行います。

「監視設定」パースペクティブをメニューバーから表示

1-2. 「監視設定[一覧]」ビューの右上のアイコンから「作成」を選択

1-3. 「監視種別」ダイアログから「PING監視 (数値)」を選択

1-4. PING監視の設定を入力

PING監視の設定を入力し、「OK」ボタンを押します。ピンクの背景色で表示されている内容は必須の設定項目となります。以下のように設定してください。

・ 監視項目ID
監視項目を登録する際にユーザが定義する文字列です。監視結果にもれなく表示されますので、監視内容を判別できるようなIDを設定することをお勧めします。システム内で一意になるように設定します。
例：Ping_All_Nodes、Ping_Hosts等
・ スコープ
監視対象のスコープ、もしくはノードを選択します。
・ 条件：間隔
監視間隔を指定します。大量に監視設定を行った場合のHinemosマネージャへの負荷を考慮し、原則5分以上の設定を推奨されているが、動作確認等で利用する場合は待ち時間を短くするため、1分の指定も可能。
・ アプリケーション
運用にあわせ任意の文字列を設定することができます。こちらも監視結果に表示されますので、運用する人が見て判断しやすい内容を設定することをお勧めします。
例：全NodesのPing監視、全ホストのPing監視 等
・ 通知ID
通知方法として使用する通知設定の通知IDを指定します。選択ボタンを押すことで、監視結果に適用する通知IDの選択画面が表示されます。Hinemosクライアントへの表示やメールによる通知など、様々な通知方法を選択できます。別の記事にて詳細は説明します。

1-5. PING監視の通知設定を入力

PING監視[通知]のEVENT_FOR_POLLINGとSTATUS_FOR_POLLINGの設定を変更します。各項目を選択後、編集ボタンを押します。内容としては赤枠箇所を以下のように変更ください。

・ 重要度変化後の初回通知
監視履歴に何回同じ情報が通知された場合に表示するかの設定となります。1回、もしくは1回のPing抜けなどを表示しないように2回を推奨します。有効にした直後は通知しないのチェックは直後は変化有無を気にせず受信情報を判定するかどうかとなります。
・ 重要度変化後の二回目以降の通知
2回目以降についても同様に通知するかという設定です。基本的には通知しないを推奨しますが、繰り返しアラームしたいものについては前回の通知からN分での再通知を行う設定をします。
・イベント通知、ステータス通知
どのレベルの情報を監視履歴に表示するかの設定となります。情報は基本的には閲覧を妨げる要因となるため、チェックを外しますが、今回はテストのために設定を行っています。

1-6. PING監視設定の登録確認

「監視設定[一覧]」ビューにてPING監視設定が登録されたことを確認します。

1-7. 監視結果の確認方法

先ほど設定したPING監視の結果を確認してみましょう。「監視」パースペクティブをメニューバーから表示します。

監視対象からのpingの応答がある場合は、管理対象の台数分の監視結果が緑色（重要度：情報）で出力されます。

localhostを停止しpingの応答を返せないようした場合は、以下のように応答が返せなくなった管理対象の台数分の監視結果が赤色（重要度：危険）で出力され、利用者に障害の発生を知らせます。

2.リソース監視

これから紹介するリソース監視は、監視対象ノードから取得した各リソースの使用状況 (数値)を基に閾値判定を行い、監視結果(通知)を出力します。なお、監視できるリソースの種類は以下のとおりです。

・CPU(使用率[%]、ロードアベレージ[個/s]など)
・メモリ(使用率[%]、スワップ[kB/s] など)
・ディスク(I/O回数[回/s], I/O量[byte/s]など)
・ファイルシステム(使用率[%])
・ネットワーク(パケット数[個/s]、情報量[byte/s] など)

2-1. LinuxでのCPUの設定手順

リソース監視はSNMPを利用した監視であるため、まずはHinemosマネージャから各管理対象ノードに対し、SNMP経由でのアクセスを許可する必要があります。1.事前の準備の2.SNMPとSNMPTRAPの設定の監視端末への導入に従って導入してください。

2-2. リソース監視設定

Hinemosクライアントを起動し、「監視設定」パースペクティブを開きます。

「監視設定[一覧]」ビューの右上にある「作成」ボタンをクリックします。
「監視種別」ダイアログから「リソース監視 (数値)」を選択し、「次へ」をクリックします。そして、作成・変更ダイアログが表示されます。

「リソース[作成・変更]」ダイアログでは、入力必須項目は背景色がピンク色で表示されます。以下のように、「監視項目ID」、「スコープ」などの必須項目を入力し、「判定」の取得値と通知を設定します。なお、通知方法はデフォルトの「STATUS_FOR_POLLING」を選択します。

「収集」をチェックした場合、数値監視の結果を蓄積し、グラフ表示またはCSVファイルに出力することができます。
「収集時は内訳のデータも合わせて収集する」のチェックを入れた場合、内訳を持つ項目(例えば、CPU使用率の内訳としてユーザやシステムが占める割合など)は、『収集』をチェックした場合にその内訳の項目も合わせて収集します。

これでCPU使用率の監視設定は完了です。監視設定が登録されたことと、監視と収集が有効になっていることを「監視設定[一覧]」ビューにて確認してください。
今回は動作確認用として、短期間で結果が確認できるように監視間隔を1分と設定しましたが、大量に監視設定を行った場合のHinemosマネージャへの負荷を考慮し、5分以上の値を設定することを推奨されています。

2-3. リソース監視結果の確認

監視結果の確認は「監視履歴」パースペクティブから収集結果を確認してください。

2-4. リソース収集結果の確認

Hinemosの性能機能を使用すれば、数値監視の収集値をグラフ表示、またはファイル出力することができます。次の手順で、収集した値をグラフで確認します。
グラフ表示で監視結果を確認します。メニューバーから「性能」パースペクティブを開きます。

「性能[グラフ]」ビュー上の「ルート>マネージャ(マネージャ1)>CentOS用スコープ(CENTOS_SCOPE)>管理者ノード_01(centos_node)」を選択します。収集表示名に「CPU使用率(RESOURCE_TEST_CPU)」を選択し、以下のように、グラフ種別などの項目を設定します。「性能[グラフ]」ビュー最下部の「適用」ボタンをクリックすると、グラフ上でCPUリソースの利用状況をグラフで確認できます。

・「性能[グラフ]」ビューのツールバー上の「CSVエクスポート」ボタンをクリックすると、収集した値をCSV 形式でダウンロードできます。
・グラフ右上の「PNG」ボタンをクリックすると、表示しているグラフをPNG形式でダウンロードできます。

3.システムログ監視

文字列監視であるシステムログ監視について説明します。Hinemosのシステムログ監視は、管理対象ノードのシステムログに出力されたログに対して文字列のフィルタ処理を行い、監視設定にて設定した特定の文字列にマッチした場合に通知を行います。

3-1.システムログ監視設定

システムログ監視はrsyslogdを利用するため、管理対象ノード側で設定ファイル/etc/rsyslog.confの最後に“*.info;mail.none;authpriv.none;cron.none @@HinemosマネージャIPアドレス:514”とHinemosマネージャへログを転送する設定を追加します。1.事前の準備の2.SNMPとSNMPTRAPの設定の監視端末への導入に従って導入してください。
またHinemosエージェントをインストールする場合、rsyslogの設定もインストーラで行うため、上記のrsyslog.confの設定は必要ありません。

Hinemosクライアントを起動し、「監視設定」パースペクティブを開きます。

「監視設定[一覧]」ビューの右上にある「作成」ボタンをクリックし、「監視種別」ダイアログから「システムログ監視 (文字列)」を選択し、「次へ」をクリックします。

表示された「システムログ[作成・変更]」ダイアログでは、入力必須項目は背景色がピンク色で表示されます。以下のように、「監視項目ID」、「スコープ」などの必須項目と「判定」条件を設定します。また、通知方法はデフォルトの「EVENT_FOR_TRAP」(イベント通知)を選択します。
追加ボタンクリック後、フィルタにて処理、重要度、パターンマッチ表現、説明を入力します。

イベント通知は、監視結果を現在の状態だけでなく、過去の情報も含めて保存し、履歴として確認したい場合に利用可能なため、システムログ監視はイベント通知を利用します。
判定の順番については順序が若い順に判定され、パターンマッチ表現に合致したら、それ以降の条件は確認されません。判定条件の順番を変えたい場合は、対象のパターンマッチ表現を選択し、「上へ」ボタンと「下へ」ボタンを押すことで入れ替えることができます。

3-2.監視結果の確認

次にシステムログの監視結果の確認を行います。
「監視履歴」パースペクティブを開き、監視対象ノード上で、以下のコマンドを実行し、rsyslogにログを出力します。

[root]# logger "問題ありません"
[root]# logger "ERROR: エラーが発生しました"Code language: CSS (css)

「監視履歴[イベント]」ビューで右上のツールバーにある「更新」ボタンをクリックし、緑色の重要度：情報のイベントと赤色の重要度：危険のイベントが表示されることを確認します。
知したログの内容を確認します。詳細を確認したいイベントを選択し、 ダブルクリックまたは『詳細』ボタンをクリックすると、「監視[イベントの詳細]」ダイアログが開きますので、内容を確認できます。

4. ログファイル監視

Hinemosのログファイル監視は、指定したログファイルに出力されるメッセージを監視する、文字列監視機能です。文字列監視によって収集した文字列データは、検索機能によって検索する事が可能です。ここでは apacheのaccess_logをログファイル監視によって監視し、収集されたログメッセージを 検索する方法を説明します。

4-1. ログファイル監視設定

ログファイル監視は Hinemosエージェント を利用するため、管理対象ノード側で Hinemosエージェントを導入する必要があります。

ディレクトリ　　　    　　：/var/log/httpd
ファイル名 (正規表現)　　 ： access_log
ファイルエンコーディング  ： UTF-8Code language: JavaScript (javascript)

監視対象のファイルに何らかの文字列が出力された場合に通知するよう設定します。
特に通知の設定をしなくとも、”監視”と”収集”のチェックボックスにチェックマークが入っていれば、対象ファイルに出力される文字列が、Hinemos内部のDBへ蓄積されるため、検索することが可能です。また、システムログ監視と同様にパターンマッチで条件を追加することも可能です。

収集したログは収集蓄積パースペクティブにて確認可能です。また、今回は特にログフォーマットは指定しておりませんが、ログフォーマットIDを指定することで収集する情報に、 「タグ」を付与することができます。
（タグ… Hinemosでは、監視設定により収集した文字列データから 特定の文字列を「タグ」として抽出しており、 検索時に利用することも可能です。）

5.タスク・TCP/IP監視

Hinemosクライアントを起動し、「監視設定」パースペクティブを開きます。
「監視設定[一覧]」ビューの右上にある「作成」ボタンをクリックします。
「監視種別」ダイアログから「カスタム監視 (数値)」を選択し、「次へ」をクリックします。そして、作成・変更ダイアログが表示されます。

以下のコードにてタスク数やTCP/IPの状態監視のコードについて記載しておきます。

snmpwalk -v#[SNMP_VERSION] -c #[SNMP_COMMUNITY] #[IP_ADDRESS_V4] 1.3.6.1.2.1.25.4.2.1.2 | perl -nle 'BEGIN{$COUNT=0}END{print"TASK COUNT,".($COUNT)}$DATA=0;$COUNT=$COUNT+1,$DATA=($1) if /"(タスク名称のフィルタ条件)"/'Code language: PHP (php)

snmpwalk -v#[SNMP_VERSION] -c #[SNMP_COMMUNITY] #[IP_ADDRESS_V4] 1.3.6.1.2.1.6.19 | perl -nle 'BEGIN{$COUNT=0}END{print"TCP1 OP/CL,".(0) if $COUNT == 0}$DATA=0;$COUNT= $COUNT+1,$DATA="TCP1 OP/CL,".($1) if /"192.0.1.1".6002.ipv4."192.0.1.21".\d+ = INTEGER: .+((\d+))/; $COUNT=2,print$DATA if $COUNT == 1'Code language: PHP (php)

最後に

上記まででHinemosでのPing・リソース・システムログ・ログファイル等の監視設定は完了となる。

以下に監視に加えたジョブの自動化についての記事を参考に記載しておきます。

Hinemosでのジョブ実行

2020-02-05

決まった作業を自動化するのが「ジョブ」となります。一度作業をスクリプトにて登録さえすればジョブにより作業を自動化することが可能となり、作業ミスを削減し業務の効率化を実現可能です。 しかしながら単一の作業であれば、Windows環境ではタスクスケジューラ、Linux環境ではcronで自動化を実現可能で…

umilcl.com