Статті
Постійне посилання на розділhttps://dspace.nuft.edu.ua/handle/123456789/7372
Переглянути
2 результатів
Результати пошуку
Документ Порівняння методу обробки і аналізу log-файлів у форматі JSON з існуючими рішеннями(2018) Брацький, Вадим Олегович; М'якшило, Олена МихайлівнаLog-файли часто і абсолютно незаслужено обділені увагою розробників. І коли програмістам необхідно обробити парсером log-файли, іноді з декількох десятків серверів одночасно, завдання покладається на системних адміністраторів і забирає в них багато часу й сил. У разі виникнення проблем і пошуку помилок у log-файлах сервісу все залежить від того, наскільки професійним є адміністратор і чи знають програмісти, що шукати. А ще від того, чи відпрацював logrotate і чи не видалив він старі дані. У таких ситуаціях ефективно допомагає Logstash, що активно розвивається. У мережі https://habrahabr.ru/ є досить багато статей про те, як його встановити і змусити працювати на одному сервері. У статті проаналізовано декілька схожих систем (Log Parser 2.2, Logstash, Web Log Exploler, Web Log Storming), які використовуються як сервери обробки log- файлів. На жаль, ці системи не можна використовувати як агенти. Після кількох випадків збірки log-файлів з множини серверів, авторам статті вдалося розробити систему збирання log-файлів, опис якої пропонується. Також розглянуто існуючі рішення і проведено порівняльний аналіз систем обробки log-файлів за такими критеріями: формат log-файлів, база даних збереження, можливості аналізу. У результаті з’ясовано, що log-файли є вельми потужним засобом для аналізу функціонування клієнтських додатків розподіленої системи на сервері. Також на сьогодні існує досить багато рішень для аналізу цих документів. Але для кожної системи досить важко підібрати потрібний аналізатор, який би легко справлявся з документами і відповідав би всім вимогам. Тому розглянуто чотири системи, які розроблені для вирішення подібних завдань. У результаті розроблено систему, яка здатна: - проводити швидкий парсинг лог-фалів за заданими критеріями; - зберігати проаналізовані дані в нереляційній базуйданих MongoDB, в якій можна проводити аналіз даних з лог-файлів за допомогою NoSQL запитів; - зберігати файли, де виявлені помилки у базі даних, за допомогою технології GridFS; - на основі проаналізованих даних автоматично запропонувати шлях вирішення проблеми. Log files are often and completely unfairly deprived of the attention of developers. And when programmers need to process log files by parser, sometimes from several dozen servers at a time, the task must be made by system administrators and it takes a lot of time and effort. So when there are problems and you need to find an error in the log files of a service, it all depends on the professionalism of the administrator and the knowledge of programmers about things they must look for. And again, whether the logrotate worked out and if it did not delete the old data. In these situations, actively developing Logstash helps. On the web site https://habrahabr.ru/ there are quite a few articles about its installing and forcing to work on one server. Several similar systems (Log Parser 2.2, Logstash, Web Log Explorer, Web Log Storming), which are used as log-processing servers, are analyzed in the article. Unfortunately, these systems can not be used as agents. After several assemblies of log files from a plurality of servers, authors of the article managed to develop a log-file collection system, the description of which is proposed. Existing solutions are also reviewed and a comparative analysis of log file processing systems is conducted according to the following criteria: log file format, storage database, analysis capabilities. As a result, it was found that log files are a very powerful tool for analyzing the functioning of client applications of a distributed system on a server. There are also many solutions for analyzing these documents today. But for each system it's quite difficult to find the right analyzer that would easily handle the documents and meet all the requirements. Therefore, we considered four systems that had been designed to solve similar problems, as well as a system based on them that is capable to: - carry out rapid parsing of log files according to the specified criteria; - store the analyzed data in the non-relational database MongoDB, where it is possible to analyze data from log files using NoSQL queries; - store files where errors in the database are detected using GridFS technology; - based on the analyzed data, automatically suggest a way to solve the problem.Документ Дослідження та розробка методу обробки log-файлів у розподіленій інформаційній системі з використанням нереляційної бази даних MongoDB(2018) Брацький, В. О.У кожного користувача персонального комп’ютера при активному використанні програмного забезпечення в розподіленій системі в реальних умовах виникають ситуації, коли з ’являються помилки або фактори, що призводять до збою роботи програми. Через це формуються повідомлення про помилку в програмному забезпеченні, яка може бути відкоригована користувачем. В інших випадках програма сама встигає усунути проблему, і користувач не помічає жодних змін у функціях програми. Незважаючи на те, що проблема вирішена, в таких випадках важливо встановити причину збою й усунути її. У статті розглянуто програмний продукт, що сам обходить помилки і фіксує їх у log-файлах, які є незрозумілими для простого користувача. Запропоновано метод збереження log-файлів, їх парсинг-аналізу та прийняття рішень щодо виправлень виявлених помилок користувача в розподіленій системі. Описано структуру log-файлів, з ’ясовано їхнє призначення. Розглянуто формат JSON і доведено, чому саме в цьому форматі доцільно описувати логи. Також визначено алгоритм парсингу і збереження файлів за допомогою GridFS в MongoDB. Після обробки даних запропоновано вирішення виявлених відмов у системі. За допомогою програмного продукту проведено порівняльний аналіз параметрів збереження та обробки log- файлів у реляційній (SQLServer) і нереляційній (MongoDB) базах даних. Тема, що розглядається, є актуальною для кожного розробника й аналітика систем, де одночасно працює велика кількість користувачів. Проведений аналіз полегшить діагностування помилок програмного забезпечення розробникам, допоможе рухатися в правильному напрямку, дасть змогу аналітикам розробити проект так, щоб ці помилки в подальшому не проявлялися. Every user of a personal computer, when actively using software in a distributed system, in real conditions, there are situations when there are errors or factors that cause program to fail. In such situations, an error message is generated in the software, which can be corrected by the user. In other cases, the program itself has time to fix the problem, and the user does not notice any changes in the functions of the program. In spite of the fact that the problem is solved, in such cases, it is important to establish the cause of the failure and eliminate it. This article deals with this topic, where we will get acquainted with such moments where the software itself bypasses the errors and fixes them in log files that are not clear to the average user. The solution to save log files, parsing them, analyzing and making decisions about fixing errors found on the user’s side in the distributed system is also considered. The structure of the log-files is described and their purpose is inquired. JSON format is considered and it is proved why it is advisable to describe logos exactly in this format. It is also considered the parsing and file saving algorithm using GridFS in MongoDB. After the data processing, suggestions were made for solving the discovered failures in the system. And also with the help of the software product, a comparative analysis of parameters for storing and processing log files in the relational (SQLServer) and non-relational (MongoDB) databases is conducted. Therefore, this topic is currently relevant to each developer and system analyst, which simultaneously runs a large number of users. For developers, this analysis will help to diagnose software errors, to move in the right direction, and for analytics — to design a project to avoid these errors in the future.