Een AI-model met 400 miljard parameters dat draait op een telefoon in je zak. Die zin had twaalf maanden geleden absurd geklonken. Deze week werd het werkelijkheid.
Ontwikkelaar @anemll publiceerde een werkend experiment waarbij een iPhone 17 Pro een 400B mixture-of-experts (MoE)-model draait door de modelgewichten direct vanuit de flash-opslag te streamen, in plaats van alles in RAM te laden. De iPhone 17 Pro heeft 12 GB werkgeheugen. Het model heeft 400 miljard parameters. De truc die het mogelijk maakt: MoE-modellen activeren per token slechts een fractie van hun parameters. De telefoon streamt dus alleen de expert-lagen die op dat moment nodig zijn, en vertrouwt op het besturingssysteem om veelgebruikte lagen te cachen. Het resultaat is traag naar serverstandaarden, maar het werkt. Op een telefoon.
Het experiment volgt vergelijkbaar werk op Apple Silicon MacBook Pros, waar dezelfde flash-streamingtechniek praktische snelheden laat zien dankzij snellere I/O. Het iPhone-experiment is meer een proof-of-concept, maar de richting is helder: de hardware haalt de modellen sneller in dan verwacht.
Waarom dit relevant is voor enterprise AI
Het gesprek binnen enterprise AI is het afgelopen jaar merkbaar verschoven. Bedrijven die in 2024 enthousiast begonnen met het sturen van data naar OpenAI- en Anthropic-API's stellen nu hardere vragen: waar gaat onze data naartoe, wie traint erop, en wat gebeurt er als een contract verandert? AVG-handhaving is aangescherpt. De EU AI Act voegt nieuwe compliancelagen toe. En eisen rondom dataresidentie - met name in sectoren als financiele dienstverlening, zorg en de publieke sector - zorgen voor echte obstakels bij AI-adoptie via de cloud.
On-device en on-premise AI lost dit probleem elegant op. Als het model lokaal draait, verlaat de data het netwerk niet. Geen API-call, geen verwerking door een derde partij, geen contractuele onduidelijkheid. De iPhone 17 Pro-demo is een extreem voorbeeld, maar wijst op dezelfde trend die zich afspeelt in enterprise-infrastructuur: hardware voor lokale AI-inferentie wordt krachtig genoeg om modellen te draaien die eerder alleen in de cloud mogelijk waren.
Dit is niet alleen een consumentenverhaal. Dezelfde Apple Silicon die de iPhone 17 Pro aandrijft, zit in Mac Studios en MacBook Pros die vandaag op kantoor staan. En dedicated AI-inferentiehardware - van Nvidia's DGX Station tot rack-mounted opties van kleinere leveranciers - is steeds vaker haalbaar voor middelgrote bedrijven. De on-premise optie is niet langer de inferieure terugvaloptie; voor bepaalde workloads wordt het de rationele standaardkeuze.
Het perspectief van Laava: sovereign AI is een architectuurkeuze
Bij Laava werken we met bedrijven die gevoelige documenten verwerken: contracten, financiele dossiers, personeelsgegevens, clientcorrespondentie. Voor de meesten is het sturen van deze data naar een API van een Amerikaans bedrijf in principe geen juridisch of politiek probleem - maar in de praktijk wel een inkoop-, compliance- en governance-probleem. Juridische reviews kosten tijd. Verwerkersovereenkomsten moeten worden onderhandeld. Inkoopcommissies willen antwoorden die nog niemand heeft.
Sovereign AI - capabele open-source modellen draaien op eigen infrastructuur - verwijdert de meeste van die blokkades. Het modellandschap is ingrijpend veranderd: Mistral, Meta's Llama-reeks, Qwen en anderen bieden nu modellen die voor documentverwerkingstaken echt concurreren met GPT-4-klasse prestaties, op parameteraantallen die passen op hardware die je zelf kunt bezitten. De kloof tussen open-source en gesloten API-modellen is zo klein geworden dat die voor veel enterprise-toepassingen effectief is weggevallen.
Wat het iPhone 17 Pro-experiment bovenal laat zien, is de richting van ontwikkeling. Als consumentenhardware vandaag een 400B-model kan streamen, doet enterprise-grade inferentiehardware met dezelfde technieken dat over 12 tot 18 maanden op praktische snelheden. De vraag is niet of on-premise AI haalbaar wordt - dat is het al - maar of jouw organisatie er al naartoe aan het bouwen is.
Wat je nu al kunt doen
Je hoeft niet te wachten op de volgende generatie hardware. Laava helpt bedrijven vandaag al met het implementeren van document-AI op eigen infrastructuur, met open-source modellen die draaien op bestaande servers of dedicated inferentiehardware. Een typisch startpunt is een documentverwerkingsworkflow - factuurextractie, contractreview, e-mailtriage - waarbij de gevoeligheid van de data cloud-API's tot een slechte keuze maakt. We kaderen het als een pilot van vier weken: afgebakend, meetbaar, laag risico en volledig on-premise als de compliance dat vereist.
Als datasouvereiniteit op jouw agenda staat, of als compliance je AI-adoptie vertraagt, is het de moeite waard om een gesprek te voeren voordat de hardwarevraag zichzelf beantwoordt.