Wykorzystanie modeli językowych i algorytmów dystrybucyjnego osadzania tekstu w analizie treści internetowych

Niniejsza praca dotyczy zastosowania modeli językowych oraz algorytmów dystrybucyjnego osadzania tekstu do semantycznej analizy treści internetowych. Opisano w niej projekt, implementację oraz ewaluację modułowego systemu odpowiadania na pytania, opartego na architekturze generowania wspomaganego wyszukiwaniem (ang. Retrieval-Augmented Generation, RAG). System pobiera treść artykułów ze wskazanych adresów URL, oczyszcza ją z elementów nawigacyjnych, dzieli na fragmenty i przekształca w wektory semantyczne zapisywane w wektorowej bazie danych. Na etapie zapytania system odnajduje fragmenty najbardziej zbliżone znaczeniowo do pytania użytkownika i na ich podstawie formułuje odpowiedź z odniesieniami do materiału źródłowego.
Cześć badawcza obejmuje porównanie ośmiu konfiguracji (C1–C8), różniących się˛ modelem językowym, modelem osadzeń oraz strategią podziału tekstu. Ocenie poddano jakość wyszukiwania, merytoryczną jakość odpowiedzi, a także wydajność i koszty eksploatacji. Wyniki wskazują że dobór modelu językowego ma decydujący wpływ na jakość odpowiedzi, podejście agentowe zapewnia najwyższą wierność kosztem dłuższego czasu i wyższych nakładów finansowych, a niedrogi model chmurowy przewyższa rozwiązanie lokalne pod względem stosunku jakości do kosztu. Pracę zamykają zalecenia wdrożeniowe dotyczące doboru komponentów potoku RAG.