Operationele kennis staat zelden op één plek
Engineers en operators werken niet vanuit één keurige documentbibliotheek. Het antwoord op een operationele vraag kan verspreid staan over technische handleidingen, onderhoudsregistraties, interne wiki’s, chatberichten, logboeken en actuele systeemdata. Hoe snel iemand het juiste bewijs vindt, beïnvloedt stilstand, de consistentie van het werk en het behoud van kennis wanneer ervaren medewerkers vertrekken.
Onderzoekers van Argonne National Laboratory beschrijven in een nieuw paper een operationeel kennisplatform voor de Advanced Photon Source, een grote wetenschappelijke faciliteit in de Verenigde Staten. Medewerkers kunnen via één interface vragen stellen over negen operationele databronnen. Belangrijker nog: de onderzoekers hebben gemeten welke onderdelen van de architectuur daadwerkelijk betere, onderbouwde antwoorden opleveren.
De omgeving is uitzonderlijk technisch, maar het kennisprobleem is herkenbaar voor productiebedrijven, ingenieursbureaus, logistieke organisaties en zakelijke dienstverleners: de informatie bestaat, maar de mensen in de operatie kunnen op het juiste moment niet betrouwbaar het juiste fragment vinden.
Het sterkste resultaat kwam niet uit het meest agentische onderdeel
De onderzoekers bouwden een benchmark van vijftig vragen met controleerbare referentieantwoorden. Een eenvoudige zoekmethode op trefwoorden vond 63,8% van de essentiële antwoordelementen. Het volledige systeem, met meerdere retrievalmethoden, een knowledge graph en een correctieve agentloop, kwam uit op 70,3%.
Die verbetering is relevant, maar de ablatietest is bruikbaarder voor kopers. Toen de gespecialiseerde cross-encoder reranker werd verwijderd en het taalmodel zelf de relevantie van tekstpassages moest beoordelen, daalde de strikte recall van essentiële informatie volgens het paper met 32,8%. De knowledge-graphlaag en de correctieve agentloop droegen wel positief bij, maar hun extra effect was beperkt.
In gewone taal: het goed selecteren en rangschikken van bewijs had meer invloed dan een extra redeneerloop. Een vloeiend taalmodel kan geen feiten herstellen die de retrievallaag nooit in beeld heeft gebracht.
Een kennisagent is zo goed als zijn bewijsketen
Veel projecten rond kennisagents beginnen aan de zichtbare kant: kies een model, bouw een chatvenster en voeg een agentframework toe. Het minder zichtbare werk is doorslaggevender. Welke systemen zijn leidend? Hoe blijft inhoud actueel? Welke bron mag iedere gebruiker zien? Hoe combineer je exacte termen, semantische overeenkomsten en relaties? Welke passages verdienen een plek in de context van het model?
Een goede kennislaag trekt die onderdelen uit elkaar. Data vormen het ruwe archief. Methoden bepalen retrieval, rangschikking, rechten en actualiteit. Tools ontsluiten de bronnen gecontroleerd. Governance bewaakt herkomst en review. Kanalen brengen antwoorden naar de plek waar het werk gebeurt. Pas daarna hoort een agent over dat bewijs te redeneren of een handeling voor te bereiden.
Dat is geen argument tegen knowledge graphs of correctieve agents. Ze kunnen helpen bij vragen waarvoor relaties, opsplitsing of herstel na een zwakke eerste zoekactie nodig zijn. Het gaat om de volgorde: voeg geen orchestration toe om een ongemeten bewijsketen te compenseren.
Meet het werkproces laag voor laag
Een praktische pilot moet minimaal vier zaken afzonderlijk testen:
- Retrieval: vindt het systeem de passages met de essentiële feiten?
- Rangschikking: bereikt het beste bewijs het model vóór irrelevante of tegenstrijdige informatie?
- Onderbouwing: wordt iedere wezenlijke claim gedragen door het opgehaalde bewijs?
- Operationele inpassing: werken rechten, actualiteit, bronverwijzingen en escalatie in het echte proces?
Pas wanneer die lagen meetbaar zijn, is het zinvol om te testen of queryrouting, graph traversal of een correctieve loop een concrete foutcategorie genoeg verbetert om de extra kosten en beheerlast te rechtvaardigen.
Zo wordt ook de vergelijking tussen modellen eerlijker. Een model kan zwak lijken doordat retrieval de verkeerde context aanlevert. Een ander model kan overtuigend klinken terwijl het details verzint. Door retrieval en generatie apart te meten, zie je welk onderdeel aandacht nodig heeft en voorkom je dat een duurder model het standaardantwoord wordt op ieder kwaliteitsprobleem.
Bewijs moet ook controleerbaar blijven
Het beschreven systeem is veelbelovend, maar niet perfect. De precisie van bronverwijzingen lag in de benchmark rond 73%. Een aanzienlijk deel van de aangehaalde passages viel dus buiten de referentieset. De auteurs benoemen bovendien dat de benchmark één faciliteit betreft, dat vragen automatisch zijn gegenereerd en dat de beoordeling deels door taalmodellen gebeurt. Controle door menselijke experts blijft de uiteindelijke norm.
Die beperkingen maken de operationele les juist scherper. Eén gemiddelde nauwkeurigheidsscore is niet genoeg. Gebruikers hebben bronlinks nodig, controleerbaarheid per claim en een duidelijke route naar menselijke review wanneer het bewijs onvolledig is of een beslissing grote gevolgen heeft.
Begin bij één kostbaar kennisprobleem
Voor een bedrijf is de juiste start niet “bouw een enterprisechatbot”. Kies één terugkerende vraag of documentrijk proces waarin slechte vindbaarheid aantoonbaar vertraging veroorzaakt: een storing analyseren, een dossier controleren, een servicevraag beantwoorden, een onderhoudsbesluit voorbereiden of de actuele werkinstructie vinden.
Maak een kleine evaluatieset van echte vragen en goedgekeurde antwoorden. Meet de nulmeting. Verbeter retrieval en rangschikking. Voeg bronverwijzingen en toegangscontrole toe. Bepaal daarna pas of extra agentisch gedrag zijn plek verdient.
Het bedrijfsresultaat is geen ingewikkelder architectuurplaat. Het is minder zoektijd, minder ongefundeerde antwoorden, snellere overdracht en beter behoud van operationele kennis. Complexiteit is pas gerechtvaardigd als zij één van die uitkomsten aantoonbaar verbetert.