ログ管理～syslogとその周辺～【ログマネージメントシステム Logstorage】Logstorage の紹介

[入門編] ではログの利用方法として、次の4つを挙げました。

検索
集計
検知
ローテート(循環)

集計や循環をおこなうツールはいろいろと広く知られているものがありますが、他の機能を使いたいときにはなかなか良いものがありません。

検索や検知のために grep やシェルスクリプト、awk/perl などを駆使しているのをよく聞きますが、運用管理の担当者は必ずしもプログラミングができるとは限りません。

また、ログを扱うツールはそのほとんどがバッチ処理であり、リアルタイムにログを収集しつつ処理をおこなうことはできず、管理の手間を大きく軽減させることはできていません。

他にも、検知を専門におこなうツールは商用の IDS などに数多くありますが、SNMP によるものが多く、syslog を対象としたものは現在のところはまだほとんどありません。

そこで、インフォサイエンスは自社で運用するデータセンターの経験を元に、ログ管理に必要なさまざまな機能を盛り込んだパッケージ製品を開発しました。「ログマネージメントシステム Logstorage」です。2002年2月に1.0をリリースしまして、12月現在の最新版は1.4です。

動作環境は次のようになっています。ほとんどの機能は Java で実装していますが、一部 OS に依存した部分があるため、対応 OS を限っています。

OS: Solaris 8 (SPARC), RedHat Linux 6.2, 7.3
DB: Oracle 8.1.x, PostgreSQL 7.2.x

FreeBSD 版は公式にはリリースしておりませんが *1) 、JRE (Java Runtime Environment) がバイナリで配布できるようになればいつでも公開する準備は整っています。
*1) 実は FreeBSD 版を最初に開発しまして、Solaris や Linux に移植しています。

■Logstorage の紹介

Logstorage は、サーバやネットワーク機器などが出力するログをsyslog のインタフェース経由で受信し、XML に変換した後に DB に格納して統合管理することにより、管理者が必要とするデータを WWW ブラウザから容易に得ることができるようにします。

主な機能は表1のようになります。運用管理をおこなう上では他にも必要な機能は多くあるとは思いますが、だいたいのものは網羅しているものと考えています。

表1	Logstorage の主な機能

機能	概要
ログ収集	●syslog を受信
ログ収集	●agent プログラムによって受信　-- ファイルから　-- Windows のイベントログから
検索	●キーを元に検索　-- フリーキーワード　-- XML に意味を付けた単語　-- 期間を指定　-- ログ発生ホスト　-- アプリケーション　-- facility 　-- priority 　-- プロセスID (PID)
	●and/or/not による条件連結
	●条件の保存
	●検索結果の保存
集計	●表形式
	●グラフ形式　-- 棒グラフ、折れ線グラフ
	●検索条件に基づいた集計
検知/通知	●条件の登録　-- 複合条件、取消条件の登録
検知/通知	●アクションの登録　-- メール通知　-- ポケベル通知　-- SNMPトラップ　-- コンソール表示　-- 外部コマンドの実行
容量管理	●ディスク使用状況の管理
	●ログデータのバックアップ　-- 手動、定期、容量
	●ログデータのリストア
ログフォーマット管理	●XML定義情報管理

Logstorage の構成としましては、図1 のようになります。

図1	Logstorage の概念

管理したい対象のサーバなどが多いときには、ログ受信プログラムを分離して複数設置することもできます。

また、通常の syslog は UDP で送られてくるため、信頼性を向上させるために同様にログ受信プログラムを複数置くことで、冗長構成を取ることも可能です。

単にファイルに書き出すだけのものと比較して、XML への変換や DB 書き込みなど複雑な処理を数多くおこなっているため、処理速度は遅くなってしまいます。

[応用編」で紹介したような機能の高い syslogd からログを投げてもらうことで、フィルタを通した後の重要なログだけを Logstorage に集めるようにすれば、多少の速度低下と引き替えに大きな利点を手に入れられるものと考えています。