Розробка системи обробки й аналізу текстової інформації на основі можливостей LLM

Abstract

Магістерська кваліфікаційна робота присвячена розробці інтелектуальної системи автоматизованої обробки та аналізу текстових даних із застосуванням великих мовних моделей (LLM). Робота містить: вступ, чотири розділи, висновки, список використаних джерел та додатки. У першому розділі здійснено дослідження предметної області та огляд сучасних методів NLP, статистичних підходів, глибинних нейронних мереж та трансформерів. Проаналізовано особливості текстових даних у електронній комерції, складність їх семантичної інтерпретації та проблеми класичних підходів у порівнянні з LLM. Розглянуто VoC-аналітику, механізми збору даних з Amazon та сучасні комерційні інструменти, визначено їхні обмеження. У другому розділі сформовано математичну та інформаційну модель системи. Визначено архітектуру модулів, потоки даних ETL, моделі представлення текстів (TF-IDF, embeddings, LLM embeddings), алгоритми виявлення ключових проблем, формування метрик Return Rate / NCX Rate та методи структурованої інтеграції LLM через tool calling. Подано формальний опис алгоритмів кластеризації, узагальнення відгуків та формування рекомендацій. У третьому розділі спроєктовано програмний продукт, що реалізує розроблену модель. Створено архітектуру бекенду (Flask), модулі скрейпінгу Amazon за допомогою Playwright, підсистему взаємодії з Aseller API, модуль аналізу текстів, інструмент генерації таблиць Rufus, а також веб-інтерфейс для перегляду звітів. Описано функціональні та нефункціональні вимоги, включно зі стійкістю до блокувань, масштабованістю та толерантністю до помилок. У четвертому розділі наведено реалізацію програмних модулів, приклади коду, логіку багатопоточного аналізу та автоматичного моніторингу зміни метрик. Проведено тестування парсингу, аналізу VoC, інтеграції LLM і генерації рекомендацій. Продемонстровано ефективність системи у виявленні проблем товарів, формуванні аналітичних висновків та оптимізаційних пропозицій. Розроблений програмний продукт є інтелектуальною аналітичною системою нового покоління, здатною автоматизувати до 90% процесів аналізу текстових даних на великих платформах електронної комерції, зменшувати кількість повернень та підвищувати якість товарних лістингів.