Технологія обробки Big Data з використанням фреймворку Apache Spark

Abstract

У дипломному проєкті досліджено проблематику обробки великих обсягів даних (Big Data) та можливості її розв’язання за допомогою фреймворку Apache Spark. Актуальність роботи зумовлена стрімким зростанням кількості даних, що генеруються в сучасному цифровому середовищі, а також необхідністю ефективних, масштабованих і продуктивних інструментів для їх зберігання та аналізу. Об’єктом дослідження є фреймворк Apache Spark, а предметом — можливості уніфікованих інструментів цього фреймворку для обробки довільних даних. У роботі проаналізовано еволюцію методів обробки великих даних, причини появи Apache Spark та проблеми, які він покликаний вирішувати. Розглянуто архітектуру фреймворку, його основні принципи роботи, зокрема швидкість обчислень, модульність і зручність використання. Особливу увагу приділено внутрішнім механізмам оптимізації та управління обчисленнями, таким як Catalyst Optimizer, Tungsten, паралелізація обробки та ефективне використання пам’яті. У практичній частині продемонстровано роботу з різними форматами даних, порівняно ефективність різних підходів до виконання запитів у Spark Core та Spark SQL, а також розглянуто типові проблеми, що виникають під час розробки та експлуатації Spark-застосунків. Результати роботи мають практичну цінність і можуть бути використані для успішного впровадження Apache Spark у задачах обробки великих даних, а також як навчальний матеріал для фахівців, які починають працювати з даним фреймворком.