Met behulp van Shodan, de zoekmachine voor verbonden apparaten op het internet, scanden we naar open Ollama-servers. Tot onze verbazing vonden we meer dan 4.000 servers die toegankelijk waren zonder veel restricties. Dat leidde natuurlijk tot de volgende logische vraag:
Welke modellen draaien ze?
We bouwden een script om dit proces te automatiseren: we verzamelden IP-adressen en benaderden elke server via de /api/tags-endpoint van Ollama om te achterhalen welke modellen er werden gehost. Zo kregen we een momentopname van de AI-modellen die openlijk op deze servers werden ingezet.
Modeldominantie en Verspreiding
Onze eerste analyse leverde interessante inzichten op in het gebruik van modellen op deze open servers:
- Top 10 Meest Voorkomende ModellenOnder de duizenden servers kwamen modellen zoals Llama naar voren als enkele van de meest gehoste. Deze modellen zijn populair vanwege hun balans tussen prestaties en resourcegebruik.
- Verdeling van Servers per Aantal ModellenWe bekeken ook hoeveel modellen elke server draaide. Veel servers hostten meerdere modellen, wat wijst op setups die gericht zijn op veelzijdigheid en het uitvoeren van verschillende AI-taken tegelijk.
Veel Servers met Grote Modellen
Opvallend was dat een aanzienlijk aantal servers zeer grote modellen hostte, waarvan sommige extreem veel rekenkracht vereisen. We vonden onder andere servers die draaiden met:
- Llama3.1:405b
- Hermes3:405B
- Deepseek-v2.5:236B-q8_0
- Mistral-large:123B
- Llama3.2-vision:90B en Llama3.2-vision:90B-instruct-fp16
Deze modellen, met parameters van 90 miljard tot ruim 400 miljard, wijzen op serieuze setups. Het draaien van zulke modellen vraagt enorme rekenkracht en bandbreedte, wat betekent dat veel van deze open servers geen hobbyprojecten zijn, maar hoogwaardige, dure infrastructuren. Het operationeel houden hiervan kan tienduizenden euro’s per maand kosten.
De Gevolgen van Open Servers
Dat zulke geavanceerde modellen open toegankelijk zijn, brengt verschillende risico’s met zich mee:
- Ongeautoriseerd ModelgebruikDe Ollama API laat iedereen toe om modellen van open servers te downloaden. Dit kan leiden tot misbruik van eigendomsrechten en vertrouwelijke modellen, wat niet alleen onethisch maar ook illegaal is.
- Modelverwijdering en InjectieDe API biedt ook de mogelijkheid om modellen te verwijderen of nieuwe modellen toe te voegen. Kwaadwillenden kunnen zo bestaande modellen verwijderen of schadelijke modellen injecteren, wat de server ernstig kan compromitteren.
- Misbruik van InfrastructuurOmdat het draaien van deze modellen enorme middelen vereist, kan ongeautoriseerd gebruik leiden tot forse financiële schade voor serverbeheerders. Effectief wordt dure infrastructuur “gratis” misbruikt.
- Illegale ActiviteitenHet zonder toestemming benaderen, wijzigen of exploiteren van servers is strafbaar. Het open laten staan van krachtige modellen zonder restrictie creëert een groot aanvalsoppervlak.
Belangrijke Inzichten
Onze verkenning benadrukt de tweezijdige aard van open AI-infrastructuur: het kan zowel een waardevolle bron als een groot risico zijn. Met meer dan 4.000 Ollama-servers wereldwijd—waarvan vele modellen met tientallen tot honderden miljarden parameters hosten—is het belang van goede beveiligingsmaatregelen overduidelijk.
Bij Laava begrijpen we de complexiteit van het beheren en beveiligen van AI-projecten. Wij specialiseren ons in het veilig en ethisch beheren van AI-infrastructuur, zodat geavanceerde modellen beschermd blijven tegen ongeautoriseerde toegang en misbruik. Of je nu AI-oplossingen bouwt of bestaande systemen wilt beveiligen, wij helpen je veilig en efficiënt vooruit.
Wil je meer weten over hoe wij jouw AI-infrastructuur veilig kunnen opzetten? Neem contact met ons op bij Laava. Wij zorgen ervoor dat AI-innovatie veilig, ethisch en toekomstbestendig blijft.
Doe Mee
Ben jij net zo gefascineerd door AI-infrastructuur als wij? Sluit je aan bij Laava! We bouwen aan de digitale workforce van de toekomst, en er valt altijd meer te ontdekken in de voortdurend evoluerende wereld van AI.
Blijf ons volgen voor meer inzichten terwijl we onze reis voortzetten in de fascinerende, soms risicovolle wereld van open AI-servers!