Дослідження методів класифікації новин за достовірністю з використанням методів веб-краулінгу та машинного навчання

Abstract

Об’єкт дослідження – процес екстракції текстових даних з подальшою обробкою методами машинного навчання. Предмет дослідження – методи та засоби екстракції та аналізу структурованих текстових даних. Мета роботи – створення програмного інструментарію екстракції структурованих даних з веб-сторінок новинних ресурсів для подальшої класифікації за достовірністю. Наукова новизна роботи полягає в тому, що створено простий жадібний алгоритм у якому суміщено процеси пошуку посилань та видобування інформації, доведено доцільність використання простих алгоритмів для збору даних з ресурсів у мережі Інтернет з ціллю використання у тренуванні алгоритмів машинного навчання. Практичний результат роботи полягає в тому, що доведено здатність класичних алгоритмів навчання досягати результатів, співставних з такими у нейронних мережах, таких як мережі ДКЧП, та показано, що такі моделі здатні працювати на двомовних наборах даних.