AIうぉ--!(ai-wo-katsuyo-shitai !)


論文『DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning』読んでみる。

論文『DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning』読んでみる。

Du, M., Li, F., Zheng, G., & Srikumar, V. (2017, October). Deeplog: Anomaly detection and diagnosis from system logs through deep learning. In Proceedings of the 2017 ACM SIGSAC conference on computer and communications security (pp. 1285-1298).

Google scholarでみると、Cited by 781 (2022/06/11)




Anomaly detection is a critical step towards building a secure and trustworthy system. e primary purpose of a system log is to record system states and signicant events at various critical points to help debug system failures and perform root cause analysis. Such log data is universally available in nearly all computer systems. Log data is an important and valuable resource for understanding system status and performance issues; therefore, the various system logs are naturally excellent source of information for online monitoring and anomaly detection. We propose DeepLog, a deep neural network model utilizing Long Short-Term Memory (LSTM), to model a system log as a natural language sequence. is allows DeepLog to automatically learn log paerns from normal execution, and detect anomalies when log paerns deviate from the model trained from log data under normal execution. In addition, we demonstrate how to incrementally update the DeepLog model in an online fashion so that it can adapt to new log paerns over time. Furthermore, DeepLog constructs workows from the underlying system log so that once an anomaly is detected, users can diagnose the detected anomaly and perform root cause analysis eectively. Extensive experimental evaluations over large log data have shown that DeepLog has outperformed other existing log-based anomaly detection methods based on traditional data mining methodologies.


異常検知は、安全で信頼できるシステムを構築するための重要なステップである。システムログの主な目的は、システムの状態や重要なイベントを記録し、システム障害のデバッグや根本原因の分析に役立てることです。このようなログデータは、ほぼすべてのコンピュータシステムで普遍的に利用可能である。ログデータは、システムの状態やパフォーマンスの問題を理解するための重要かつ貴重なリソースであり、したがって、様々なシステムログは、オンラインモニタリングや異常検出のための優れた情報源となります。我々は、システムログを自然言語のシーケンスとしてモデル化するために、LSTM(Long Short-Term Memory)を利用したディープニューラルネットワークモデルであるDeepLogを提案します。DeepLogは、LSTMを利用することで、正常なログを自動的に学習し、ログが正常なログから学習したモデルから逸脱した場合に異常を検出することができます。また、DeepLogのモデルをオンライン方式で段階的に更新し、時間の経過とともに新しいログパターンに適応できるようにする方法を示しています。さらに、DeepLogは、システムログからワークフローを構築し、異常が検出されると、ユーザは検出された異常を診断し、根本原因分析を効果的に実行できるようにします。大規模なログデータに対する広範な実験的評価により、DeepLogは従来のデータマイニング手法に基づく他のログベースの異常検知手法を凌駕していることが示されています。