Дослідження та розробка методу обробки log-файлів у розподіленій інформаційній системі з використанням нереляційної бази даних MongoDB

Abstract

У кожного користувача персонального комп’ютера при активному використанні програмного забезпечення в розподіленій системі в реальних умовах виникають ситуації, коли з ’являються помилки або фактори, що призводять до збою роботи програми. Через це формуються повідомлення про помилку в програмному забезпеченні, яка може бути відкоригована користувачем. В інших випадках програма сама встигає усунути проблему, і користувач не помічає жодних змін у функціях програми. Незважаючи на те, що проблема вирішена, в таких випадках важливо встановити причину збою й усунути її. У статті розглянуто програмний продукт, що сам обходить помилки і фіксує їх у log-файлах, які є незрозумілими для простого користувача. Запропоновано метод збереження log-файлів, їх парсинг-аналізу та прийняття рішень щодо виправлень виявлених помилок користувача в розподіленій системі. Описано структуру log-файлів, з ’ясовано їхнє призначення. Розглянуто формат JSON і доведено, чому саме в цьому форматі доцільно описувати логи. Також визначено алгоритм парсингу і збереження файлів за допомогою GridFS в MongoDB. Після обробки даних запропоновано вирішення виявлених відмов у системі. За допомогою програмного продукту проведено порівняльний аналіз параметрів збереження та обробки log- файлів у реляційній (SQLServer) і нереляційній (MongoDB) базах даних. Тема, що розглядається, є актуальною для кожного розробника й аналітика систем, де одночасно працює велика кількість користувачів. Проведений аналіз полегшить діагностування помилок програмного забезпечення розробникам, допоможе рухатися в правильному напрямку, дасть змогу аналітикам розробити проект так, щоб ці помилки в подальшому не проявлялися. Every user of a personal computer, when actively using software in a distributed system, in real conditions, there are situations when there are errors or factors that cause program to fail. In such situations, an error message is generated in the software, which can be corrected by the user. In other cases, the program itself has time to fix the problem, and the user does not notice any changes in the functions of the program. In spite of the fact that the problem is solved, in such cases, it is important to establish the cause of the failure and eliminate it. This article deals with this topic, where we will get acquainted with such moments where the software itself bypasses the errors and fixes them in log files that are not clear to the average user. The solution to save log files, parsing them, analyzing and making decisions about fixing errors found on the user’s side in the distributed system is also considered. The structure of the log-files is described and their purpose is inquired. JSON format is considered and it is proved why it is advisable to describe logos exactly in this format. It is also considered the parsing and file saving algorithm using GridFS in MongoDB. After the data processing, suggestions were made for solving the discovered failures in the system. And also with the help of the software product, a comparative analysis of parameters for storing and processing log files in the relational (SQLServer) and non-relational (MongoDB) databases is conducted. Therefore, this topic is currently relevant to each developer and system analyst, which simultaneously runs a large number of users. For developers, this analysis will help to diagnose software errors, to move in the right direction, and for analytics — to design a project to avoid these errors in the future.