Використання великих мовних моделей для автоматизації процесів аналізу даних

Abstract

The study explores the potential of large language models (LLMs) for automating key stages of the data analysis lifecycle, including data preprocessing, transformation, visualization, and interpretation. Experimental evaluation of models such as GPT and Claude demonstrates high efficiency in generating code for data cleaning and visualization tasks. However, the reliability of automatically generated insights remains a critical concern due to the risk of hallucinations. The results indicate that LLMs function best as assistive tools within a human-in-the-loop framework, where analysts oversee and validate outputs. Overall, LLMs significantly accelerate routine analytical processes but require careful supervision to ensure accuracy and reliability.У дослідженні досліджується потенціал моделей великих мов програмування (LLM) для автоматизації ключових етапів життєвого циклу аналізу даних, включаючи попередню обробку, перетворення, візуалізацію та інтерпретацію даних. Експериментальна оцінка таких моделей, як GPT та Claude, демонструє високу ефективність у генерації коду для завдань очищення та візуалізації даних. Однак надійність автоматично згенерованих висновків залишається критичною проблемою через ризик галюцинацій. Результати показують, що LLM найкраще функціонують як допоміжні інструменти в рамках системи «людина в циклі», де аналітики контролюють та перевіряють результати. Загалом, LLM значно пришвидшують рутинні аналітичні процеси, але вимагають ретельного нагляду для забезпечення точності та надійності.