Локальний пошук схожих товарів за забраженням на основі мультимодальних векторних представлень

Abstract

Кваліфікаційна робота: «Локальний пошук схожих товарів за зображенням на основі мультимодальних векторних представлень». Обсяг роботи – 52 сторінки, 12 рисунків, 5 таблиць, 20 джерел інформації. Об'єкт дослідження – процес пошуку схожих зображень товарів у локальних інформаційних системах. Предмет дослідження – методи побудови мультимодальних векторних представлень та алгоритми пошуку найближчих сусідів у багатовимірному просторі. Метою роботи є розробка програмної системи локального пошуку схожих товарів за зображенням із використанням сучасних методів комп'ютерного зору, мультимодальних моделей машинного навчання та векторного індексування даних. У процесі виконання роботи проведено аналіз сучасних підходів до пошуку зображень за вмістом, досліджено можливості використання мультимодальних моделей для формування спільного векторного простору текстових та графічних даних, виконано порівняльний аналіз існуючих рішень та визначено вимоги до програмної системи. У роботі спроєктовано архітектуру програмного забезпечення, що включає модуль екстракції ознак на основі моделі CLIP, систему векторного індексування за допомогою бібліотеки FAISS, серверну частину на базі FastAPI та клієнтський вебінтерфейс, реалізований із використанням React та TypeScript. Розроблено механізм локального індексування товарів, побудови векторної бази даних та виконання пошукових запитів за зображенням і текстовим описом. Результатом роботи є програмна система, здатна виконувати локальний пошук схожих товарів без використання зовнішніх хмарних сервісів. Проведене тестування підтвердило ефективність запропонованого підходу та високу якість пошукових результатів. Система демонструє високу швидкодію, масштабованість і може бути використана в електронній комерції, корпоративних каталогах товарів та мобільних застосунках.