Hetzner experimenteert met een OpenAI-compatible API voor generatieve AI. Dat is goed nieuws voor de Europese markt. Modeltoegang wordt toegankelijker en bestaande AI-software kan met minder integratiewerk worden aangesloten op een Europese infrastructuurleverancier.
Maar voor bedrijven begint het echte werk pas na de eerste model-call. Een API die tekst genereert is nog geen private AI-omgeving die veilig, betrouwbaar en kostenefficiënt in de operatie kan draaien. Daarvoor zijn ook modeloptimalisatie, kwaliteitsbewaking, beveiliging, governance, integraties en dagelijks beheer nodig.
Wat is er gebeurd
Binnen Hetzner Experiments is een inference-API beschikbaar. De officiële tutorial laat zien hoe ontwikkelaars een bestaande client kunnen aansluiten door de base-URL en het API-token te wijzigen. In de gepubliceerde configuratie gebruikt Hetzner Qwen/Qwen3.6-35B-A3B-FP8.
De technische drempel is daarmee laag. Door de OpenAI-compatible interface hoeft een team niet voor iedere provider een compleet nieuwe integratie te bouwen. Dat maakt het eenvoudiger om Europese inference te evalueren zonder eerst de applicatie eromheen te verbouwen.
Omdat de dienst onder Hetzner Experiments valt, moeten organisaties hem behandelen als een kans om te testen en te leren. Geschiktheid voor productie hangt af van formele informatie over dataverwerking, beveiliging, capaciteit, support, continuïteit en contractuele servicelevels.
Waarom dit belangrijk is
Hetzners experiment laat zien dat Europese AI-infrastructuur toegankelijker wordt. Een compatibele API verlaagt de drempel om een ander model of een andere provider te proberen en kan de hoeveelheid providerspecifieke code in een AI-applicatie beperken.
Compatibele toegang maakt modellen en providers nog niet gelijkwaardig. Ze verschillen in kwaliteit, instructietrouw, toolgebruik, latency, capaciteit, foutgedrag, ondersteuning en voorwaarden voor dataverwerking. Een workflow die goed werkt met het ene model kan zich anders gedragen met het andere.
Voor een experiment kan een werkende endpoint voldoende zijn. Voor productie moet een organisatie ook weten welke data waar wordt verwerkt, wie toegang heeft tot prompts en logs, hoe kwaliteit wordt gemeten, wat er gebeurt bij uitval en wie eigenaar is van het dagelijkse beheer.
Een endpoint is nog geen private AI-omgeving
Een model in een Europees datacenter draaien lost één belangrijk onderdeel op: de locatie en onderliggende infrastructuur. Maar private is geen automatisch gevolg van een Europese server of provider.
Een private omgeving vraagt om concrete keuzes over isolatie, datalocatie, identity en toegang, secrets, encryptiesleutels, logging, bewaartermijnen, subverwerkers, back-ups en beheerstoegang. Deze maatregelen moeten worden ontworpen, uitgevoerd en aangetoond. Ze kunnen niet uit een hostinglabel worden afgeleid.
Organisaties hebben ook heldere verantwoordelijkheden nodig. De infrastructuurprovider kan het datacenter en de hardware beheren, terwijl iemand nog steeds eigenaar moet zijn van het besturingssysteem, de runtime, modellen, monitoring, back-ups, beveiligingsupdates en applicatie-incidenten.
Optimalisatie is doorlopend werk
Een model dat technisch draait, is niet automatisch het juiste model voor iedere taak. Sommige workflows vragen om sterk redeneervermogen. Andere taken hebben meer aan snelheid, lage kosten of voorspelbare gestructureerde output. Voor gevoelige documenten kan een privaat model logisch zijn, terwijl een goedgekeurd extern model bij een andere taak betere resultaten levert.
Daarom hoort optimalisatie bij een managed AI-dienst. Dat omvat modellen vergelijken op representatieve cases, evaluatiesets onderhouden, prompts en context optimaliseren, taken routeren, caching en batching toepassen, quantization configureren, GPU-capaciteit bewaken en nieuwe modelversies testen voordat ze live gaan.
Het doel is niet de laagste prijs per token. De bruikbare maatstaf is de kostprijs per geaccepteerde uitkomst: een correcte extractie, een veilig voorbereid antwoord of een afgeronde workflowstap die aan de kwaliteitsgrens van de organisatie voldoet.
De productielaag rondom het model
Modellen, inference-engines en beveiligingsafhankelijkheden veranderen voortdurend. Capaciteit kan opraken, prestaties kunnen teruglopen en een nieuwe modelversie kan zich anders gedragen dan de vorige. Productie vraagt daarom om monitoring, regressietests, versiebeheer, patching, capaciteitsplanning, fallback, incidentrespons en geteste herstelprocedures.
Fouten moeten ook veilig worden afgehandeld. Afhankelijk van de workflow moet een agent kunnen stoppen, opnieuw proberen, een goedgekeurde fallback gebruiken of menselijke beoordeling vragen. Het systeem mag niet stilzwijgend doorgaan wanneer het vertrouwen laag is of een afhankelijkheid niet beschikbaar is.
Deze operationele laag bepaalt uiteindelijk of een AI-toepassing een interessante demonstratie blijft of een betrouwbaar onderdeel van de organisatie wordt.
Van modeltoegang naar operationele waarde
Bedrijven kopen uiteindelijk geen taalmodel. Ze willen dat bepaald werk sneller, consistenter of beter wordt uitgevoerd. Daarvoor moet de AI-omgeving worden verbonden met documenten, kennisbronnen, SharePoint, CRM, ERP, e-mail, databases, interne API's en bestaande goedkeuringsprocessen.
Managed agents kunnen daarna concrete taken uitvoeren of voorbereiden, zoals documentintake, dossieropbouw, kenniszoeken, servicetriage, controles en overdrachten tussen systemen. Zonder die integratie levert zelfs sterke inference-infrastructuur weinig operationele waarde.
Het Laava-perspectief
Dit is precies waarom Laava werkt aan Managed Private AI. Niet als losse GPU-server of kale LLM-endpoint, maar als drie gekoppelde lagen: een Managed Private AI Foundation, ModelOps & Optimization en Managed Agents.
De foundation omvat de private omgeving, beveiliging, datastromen en dagelijkse operatie. ModelOps & Optimization omvat modelselectie, evaluatie, performance, routing, updates en kostenbeheersing. Managed Agents verbindt die omgeving met operationele workflows die nuttig werk uitvoeren.
Een infrastructuurleverancier zoals Hetzner kan onder zo'n dienst een interessante bouwsteen zijn. De keuze voor de provider is alleen niet hetzelfde als het leveren van de volledige dienst. De klant moet niet zelf een hoster, modelruntime, securitypartij, AI-engineer en integratiespecialist bij elkaar hoeven brengen.
Wat organisaties nu kunnen doen
Begin niet met de vraag welke server of welk model je moet kiezen. Begin met één concrete workflow. Bepaal welk werk beter moet, welke data daarvoor nodig is, welke fouten acceptabel zijn, wanneer menselijke beoordeling verplicht is en welke eisen gelden voor locatie, toegang en controle.
Test daarna welke combinatie van model, infrastructuur en beheer bij die workflow past. Een nieuwe Europese inferenceprovider is goed nieuws, maar een endpoint is pas het begin. Het echte product is een private AI-capaciteit die blijft presteren, beheersbaar blijft en verbonden is met de operatie.
Onderzoek je hoe AI met gevoelige of bedrijfskritische data kan werken onder jullie eigen voorwaarden? Laava denkt graag mee over de eerste workflow en de beheersmaatregelen die daarvoor nodig zijn.