Розробка платформи для парсингу інтернет-магазинів «Rozetka» та «Фокстрот» мовою JavaScript з використанням Node.js

Abstract

У роботі розглядається розробка платформи для парсингу інтернет-магазинів, обробки та зберігання даних з провідних українських інтернет-магазинів Rozetka та Фокстрот. Платформа базується на сучасних технологіях Node.js та TypeScript, що дозволяють ефективно працювати з великими обсягами інформації. Для зберігання даних використовується комбінація двох типів баз даних: реляційної MySQL та документної MongoDB. Проєкт спрямований на автоматизацію процесу збору інформації про товари, їх ціни, наявність та акції, що підвищує швидкість і якість прийняття рішень користувачами та компаніями. У першому розділі виконується аналіз цільової аудиторії платформи, визначаються основні потреби користувачів та бізнесу. Детально розглядаються існуючі рішення на ринку, зокрема платформи для агрегації каталогів, системи порівняння цін і моніторингу конкурентів, а також сервіси збору даних у реальному часі. Розділ виявляє основні функціональні та нефункціональні вимоги до розроблюваної системи. На основі проведеного аналізу визначається перелік необхідних функцій платформи, які будуть реалізовані у подальших етапах проєкту. Описані основні технічні та бізнес-цілі, що формують основу для проєктування та розробки. Зокрема, увага приділяється автоматизації збору даних та їх актуалізації. Визначено критерії ефективності системи, що забезпечують конкурентні переваги. Розділ містить обґрунтування вибору технологій і підходів. Другий розділ присвячено проєктуванню системи, зокрема алгоритмів взаємодії клієнта з сервером. Описані архітектурні рішення, що забезпечують стабільну і масштабовану роботу платформи. В розділі викладено принципи побудови алгоритмів обробки даних для інтернет-магазинів, які дозволяють ефективно парсити та агрегувати інформацію. Значну увагу приділено проєктуванню баз даних, що є ключовим етапом системної архітектури. Окремо розглядаються особливості реляційної бази даних MySQL, яка використовується для збереження структурованих даних. Описується структуру таблиць, зв’язки між ними та індексацію. Аналогічно, наводиться опис проєктування MongoDB для зберігання неструктурованих документів. Розглянуто питання масштабованості та гнучкості схеми документної бази. Розділ завершується обґрунтуванням вибору інструментів і технологій для роботи з базами даних. Третій розділ присвячений практичній реалізації системи. У ньому детально описано створення баз даних, включаючи SQL-скрипти та налаштування моделей ORM для MySQL. Наведено приклади реалізації моделей даних у Sequelize, що спрощують роботу з реляційною базою. Аналогічно, описано створення схем і моделей для MongoDB з використанням Mongoose. Представлені алгоритми обробки даних для конкретних інтернет-магазинів, таких як Rozetka та Фокстрот. Вказано, як здійснюється парсинг сторінок, вилучення релевантної інформації та її подальша обробка. Описано механізми синхронізації даних між базами, а також роботу з асинхронними операціями. Розглянуто методи обробки помилок і логування процесів. Розділ містить також реалізацію підключення до баз даних через відповідні бібліотеки. Четвертий розділ зосереджений на тестуванні розробленої системи. Описано побудову тест-плану, який включає як функціональне, так і нефункціональне тестування. Наведено приклади сценаріїв для перевірки коректності роботи серверної частини, обробки запитів і цілісності даних. Розглянуто тестування продуктивності, навантажень та стресових ситуацій. Описані методи автоматизації тестування та використання відповідних інструментів. Розділ також містить аналіз результатів тестування, виявлених помилок та способів їх усунення. Приділено увагу забезпеченню стабільності системи при масштабуванні. Визначено критерії успішності тестування для кожного виду перевірок. Заключна частина включає рекомендації щодо покращення системи. П’ятий розділ детально описує процес встановлення та розгортання проєкту. Наведено покрокові інструкції з інсталяції необхідних компонентів, налаштування середовищ розробки і виробництва. Розглянуто конфігурації для підключення до баз даних та забезпечення їх безперервної роботи. Представлені методи розгортання серверної платформи на хостинг-платформах. Описано налаштування безпеки, зокрема роботу з обліковими записами та шифруванням даних. Розділ також містить рекомендації щодо підтримки і оновлення системи. Обговорено способи моніторингу працездатності та логування. Надано інструкції з резервного копіювання і відновлення баз даних. У висновках роботи узагальнено основні результати виконаного дослідження та розробки. Детально проаналізовано ключові етапи реалізації проєкту, що дозволило досягти поставлених цілей. Наведено конкретні докази успішної реалізації, підтверджені практичними тестуваннями та результатами впровадження, які свідчать про ефективність запропонованих рішень. Список використаних джерел містить фахову літературу та наукові публікації, присвячені розробці програмного забезпечення, роботі з базами даних а також методам тестування та забезпечення якості програмних продуктів. Крім того, до списку включено сучасні дослідження в галузі обробки великих обсягів даних та інтеграції різнорідних баз даних. Використані джерела забезпечують теоретичну та практичну базу для розробки системи, що дозволяє ефективно поєднувати реляційні та документні бази даних у межах проєкту.