Het is Grok en X verboden om uitkleedbeelden en kinderpornografisch materiaal te genereren en te verspreiden. Offlimits stelt dat via de AI-chatbot Grok zonder toestemming seksuele deepfakes van personen (veelal vrouwen en kinderen) kunnen worden gemaakt en via X worden verspreid. De rechter oordeelt dat voldoende aannemelijk is dat de getroffen maatregelen onvoldoende effectief zijn. Het verbod ziet op beelden van personen die in Nederland wonen en op vervaardiging en verspreiding in Nederland. Aan het verbod is een dwangsom verbonden en X mag Grok niet aanbieden zolang niet aan het verbod wordt voldaan.
PUBLICATIE-PRIVACY - PORTRETRECHT
X.AI is aanbieder van de generatieve AI-chatbot Grok, een large language model dat in staat is om allerlei vragen te beantwoorden en taken uit te voeren, waaronder ook het genereren van beeldmateriaal. Grok wordt als standalone aangeboden, en middels de ‘Grok-in-X functie’ via X.
Stichting Offlimits vordert en krijgt een verbod op functionaliteiten van Grok en X waarmee zonder toestemming ‘uitkleedbeelden’ en kinderpornografisch materiaal kunnen worden gegenereerd en verspreid. Volgens Offlimits maakt Grok het mogelijk om met eenvoudige prompts seksuele deepfakes van bestaande personen te creëren, die vervolgens via het platform X op grote schaal worden verspreid. Dit levert ernstige inbreuken op op de persoonlijke levenssfeer, schending van de AVG, portretrecht en onrechtmatig handelen, en kan tevens strafbaar zijn.
Grok en X voeren aan dat zij dergelijke content willen tegengaan en daartoe maatregelen hebben genomen, onder meer via gebruikersvoorwaarden en technische beperkingen. De voorzieningenrechter overweegt echter dat Offlimits voldoende heeft onderbouwd dat gerede twijfel bestaat over de effectiviteit van deze maatregelen. Zo is kort vóór de zitting nog een uitkleedvideo gegenereerd met Grok.
De voorzieningenrechter acht het aannemelijk dat zonder ingrijpen verdere inbreukmakende en strafbare content zal worden gegenereerd en verspreid. Gelet op de ernst van de mogelijke schendingen van privacy en de bescherming van minderjarigen, is spoedeisend ingrijpen gerechtvaardigd.
De rechter verbiedt Grok en X daarom om uitkleedbeelden en kinderpornografisch materiaal te genereren en te verspreiden. Het verbod is territoriaal beperkt: het ziet op beelden van personen die in Nederland wonen en op vervaardiging en verspreiding in Nederland.
Aan het verbod wordt een dwangsom verbonden van €100.000 per dag, met een maximum van €10 miljoen. Daarnaast wordt X verboden om Grok als onderdeel van het platform aan te bieden zolang niet aan de opgelegde verboden wordt voldaan.
De voorzieningenrechter benadrukt daarmee dat online platforms en AI-aanbieders effectieve maatregelen moeten treffen om te voorkomen dat zonder toestemming seksueel expliciet beeldmateriaal wordt gegenereerd en verspreid, en dat zij verantwoordelijk kunnen worden gehouden wanneer dergelijke functionaliteiten tot ernstige rechteninbreuken leiden.
