MI-alapú kereső 67 ezer szócikkre a Magyar Popkulturális Értéktárban

Az ügyfél és a feladat

A Magyar Popkulturális Értéktár a magyar könnyűzene, irodalom, film és vizuális kultúra digitális gyűjteménye. A hátterében nem egy szervezet áll. Berta Zsuzsi, az A38 Hajó marketingvezetője a bemutatón úgy fogalmazott, hogy az Értéktár továbbviszi a Bahia Kiadó örökségét, együttműködik az A38 Hajóval, az MTVA-val, a Petőfi TV-vel és az Artisjus jogvédő irodával, és épít Jávorszky Béla Szilárd zenetörténeti életművére.

A feladat, amit kaptunk, egyszerűen megfogalmazható és nehezen teljesíthető: legyen olyan kereső az Értéktár fölött, ami valódi kérdésekre válaszol, nem találati listát dob. Nyírő András projektvezető a bemutatón így írta le a kiindulást: azon kezdtek gondolkodni, hogyan lehetne az óriási digitális archívum esetében segítségül hívni a mesterséges intelligenciát a hatékonyabb keresés érdekében.

Mi volt a nehéz benne

Két gond volt, és egyik sem technológiai divatkérdés.

Az első a nyelv. Nyírő András a bemutatón kimondta, ami minden magyar nyelvű MI-projekt kiindulópontja: a ChatGPT megjelenése új lehetőségeket adott, azonban a nyelvi modell alapvetően az angol nyelvre épül, ezzel angolszász kultúrát hozva magával, és felmerült a kérdés, hogyan tudjuk így megmutatni a saját kultúránkat. Egy angolra hangolt modell magyar zenetörténeti anyagon nem attól rossz, hogy nem tud magyarul, hanem attól, hogy nem ismeri az anyagot, és a hiányt magabiztosan tölti ki.

A második a kontextus. Berta Zsuzsi arról beszélt, hogy ha az interneten rákeresünk egy előadóra vagy műfajra, a keresők információcunamit kínálnak a saját motorjuk felállította sorrendben, és ez a nemzeti kultúra szempontjából egyértelmű értékvesztés, mert a találatokat az eredeti kulturális közegükből kiszakítva kapjuk. Egy kereső, ami tíz linket ad vissza, ebben a helyzetben nem segít.

„Az értéktár esetében nem pusztán egy adatbázisban lehet keresni, hanem értelmes kérdésekre értelmes válaszokat kaphatunk.”

Hozzáteszem, ami a cikkben nincs benne, de a munka során végig ott volt: egy kulturális archívumnál a hibás válasz drágább, mint máshol. Ha egy webshop chatbotja téved a szállítási időben, az bosszantó. Ha egy értéktár keresője rossz évszámot vagy rossz lemezkiadót ír egy előadóhoz, azt valaki idézni fogja.

Hogyan épül fel egy ilyen kereső

Itt kell egy őszinte határvonal. Az eddigiek a nyilvános forrásból származnak. Ami most jön, az általános mérnöki leírás arról, hogyan készül egy nagy, heterogén korpusz fölé épített MI-kereső. Nem az MPÉ implementációjának a dokumentációja, mert azt nem a mi dolgunk közzétenni.

1. 1. Betöltés és normalizálás

   A szócikkek, kiadvány-leírások, fotó-metaadatok és lemezadatok más-más sémában élnek. Az első lépés mindig egy közös belső alak, amiben minden tartalomnak van azonosítója, típusa, forrása és időbélyege. Ez a szakasz látszólag unalmas, és ez dönti el a projekt sorsát.

2. 2. Darabolás

   Egy 67 ezer tételes korpuszt nem lehet egészben a modell elé tenni. A szöveget értelmes egységekre kell vágni úgy, hogy a darab önmagában is megálljon. Egy előadói profilnál ez általában szakaszhatár, egy lemezleírásnál a tétel maga.

3. 3. Beágyazás és index

   Minden darab kap egy vektort, ami a jelentését kódolja, és bekerül egy vektoradatbázisba. Emellett fut egy hagyományos, szó szerinti index is. Magyar anyagnál a kettő együtt lényegesen jobb, mint bármelyik külön: a vektoros rész megtalálja a körülírt kérdést, a lexikai rész a pontos névalakot.

4. 4. Magyar nyelvi kezelés

   Toldalékolás, ékezet nélküli beírás, művésznevek és polgári nevek párhuzamos használata, zenekar-átnevezések. Ezt nem oldja meg magától egy modell, listát és szabályokat kell hozzá írni, és a listát karban kell tartani.

5. 5. Relevancia és újrarangsorolás

   A nyers találatokat sorrendbe kell tenni. Itt derül ki, hogy a felhasználó egy évszámra kíváncsi, vagy arra, hogy ki kivel játszott együtt 1987-ben. A két kérdéshez más találat tartozik, pedig a szavak hasonlók.

6. 6. Válaszgenerálás forrással

   A modell csak a megtalált darabokból dolgozhat, és a válasz mellett ott kell lennie, hogy melyik tételből jött. Ha nincs fedezet, a helyes válasz az, hogy nincs rá adat. Ez a rész gyakran kimarad a demókból, és ez az, ami éles üzemben számít.

A generatív réteg viselkedéséről a bemutatón Nehéz Károly, a Miskolci Egyetem Informatikai Intézetének igazgatója beszélt, aki segítette az Értéktár MI-moduljának kialakítását. Azt magyarázta el, hogy a nyelvi modell által meghatározott optimális szó helyett a rendszer a második és a harmadik lehetőséget is felkínálhatja, és ettől lesz a válasz változékony. Ez a mintavételezés, és ez az egyik oka annak, hogy ugyanarra a kérdésre kétszer nem szó szerint ugyanaz a mondat jön vissza.

„Ez is egy gép, de bonyolultabb minden eddiginél, amelyet az emberiség történelme során létrehozott.”

A technikai háttérről bővebben a RAG tudásbázisokról szóló cikkünkben írtunk, az ügynöki működésről pedig az AI ügynökök alapjai poszt szól.

Mit vittünk tovább

Néhány dolog, amit ezen a munkán tanultunk meg, és azóta minden tudásbázis-projektnél elmondunk az első hívásra.

Ugyanennek a munkának a nagyságrendjéről beszéltünk az AI Summit Budapest 2025 konferencián is, ahol arról tartottunk előadást, hogyan dolgoztunk fel 100 GB adatot, és hogyan lett belőle működő MI-rendszer.

Milyen szervezetnek való ez a megoldás

A minta ugyanaz mindenhol: nagy saját tartalom, sokféle formátum, és egy keresés, ami ma kulcsszavakkal működik.

Amikor viszont a tartalom kevés, vagy jól strukturált táblákban ül, akkor egy rendes szűrős kereső olcsóbb és pontosabb. Ezt a scoping híváson meg szoktuk mondani, mielőtt bárki fizetne bármiért. A szolgáltatás teljes leírása az MI fejlesztés oldalon van, a további éles projektek pedig az MI portfólióban.