Automatisering, het proces waarbij de hoeveelheid menselijke arbeid wordt geminimaliseerd voor de productie en de aflevering van goederen, is sinds de industriële revolutie een belangrijk onderdeel geworden van onze samenleving. Dankzij geautomatiseerde systemen kunnen we snel en goedkoop goederen produceren en afleveren. Hierdoor is de welvaart er de vorige eeuw sterk op vooruit gegaan.

De afgelopen jaren hebben we zelfs nog een stap verder gezet door het gebruik van artificieel intelligente systemen (AI-systemen) gebaseerd op diepe neurale netwerken. Dergelijke AI-systemen maken het mogelijk om nauwkeurige oplossingen te vinden voor ingewikkelde problemen.

“Hoewel neurale netwerken, door gebruik te maken van grote hoeveelheden data, het mogelijk maken om heel complexe uitdagingen aan te pakken, werd onlangs ontdekt dat ze een ernstige veiligheidsfout hebben, namelijk hun kwetsbaarheid voor vijandige voorbeelden”, vertelt Utku.

In deze context verwijst de term vijandige voorbeelden naar invoer die met kwaadwillende bedoelingen is gemaakt, met als doel geautomatiseerde besluitvormingssystemen te misleiden.

“Vijandige voorbeelden worden algemeen erkend als één van de grootste tekortkomingen van neurale netwerken op het vlak van veiligheid. Het is immers een uitdaging om ware invoer te onderscheiden van deze vijandige voorbeelden, vooral in de context van afbeeldingen (bv biomedische afbeeldingen en radarbeelden)”, vervolgt Utku.

“In mijn doctoraat bestudeerde ik het fenomeen van vijandige voorbeelden in meer detail in de context van diepe neurale netwerken, met bijzondere aandacht voor de volgende onderwerpen: (1) eigenschappen van vijandige voorbeelden, (2) vijandige aanvallen op modellen voor het segmenteren van biomedische afbeeldingen, (3) vijandige aanvallen op modellen voor het herkennen van menselijke activiteiten in radarbeelden, en (4) verdedigingen tegen vijandige voorbeelden”, legt Utku uit.

“Meer specifiek heeft mijn onderzoek geleid tot de ontwikkeling van twee nieuwe vijandige aanvallen op modellen voor machinaal leren, alsook een nieuwe verdediging, en waarbij deze ontwikkelingen het mogelijk maken om een dieper inzicht te verwerven in de eigenschappen van vijandige voorbeelden”

"Dankzij mijn onderzoek zijn we een stap dichter bij het begrijpen van vijandige voorbeelden en het verhelpen van dit beveiligingslek dat kunstmatige intelligentiesystemen bedreigt", besluit Utku.

Lees een uitgebreidere samenvatting of het volledige doctoraat

-

Titel doctoraat: Prevalentie van vijandige voorbeelden in neurale netwerken: aanvallen, verdedigingen en opportuniteiten

-

Contact: Utku Özbulak, Wesley De Neve, Arnout Van Messem

Utku Ozbulak (Izmir, Turkije, 1991) studeerde van 2009 tot 2014 aan de Yasar-universiteit in Turkije, waar hij een bachelor in computerwetenschappen behaalde. Meteen na zijn afstuderen begon hij als Business Intelligence Consultant in Istanbul, waar hij werkte bij wereldwijd erkende bedrijven als The Coca Cola Company, Turkish Airlines en Bosch-Siemens Hausgeraete. Na twee jaar ervaring in de industrie, besloot hij te studeren voor een Master's Degree in Data Science aan de Universiteit van Southampton, UK, waar hij in 2017 met onderscheiding afstudeerde. Vanaf september 2017 vervolgde hij zijn academische carrière aan de Universiteit Gent met het oog op het behalen van een PhD Degree in Computer Science Engineering. Hierbij voerde hij doctoraatsonderzoek uit op de pas geopende global campus van de Universiteit Gent in Zuid-Korea (in het Center for Biosystems and Biotech Data Science) en de thuiscampus van de Universiteit Gent in België (in IDLab). Zijn belangrijkste onderzoeksfocus lag op het verkrijgen van een beter begrip van vijandige voorbeelden: zorgvuldig samengestelde datapunten die modellen voor machinaal leren dwingen fouten te maken tijdens het testen. Als doctoraatsonderzoeker heeft hij bijgedragen aan twee gepubliceerde a1 tijdschriftpublicaties, beide als eerste auteur, en aan vijf gepubliceerde conferentiepapers, waarvan vier als eerste auteur.

-

Redacteur: Jeroen Ongenae - Eindredactie: Ilse Vercruysse -  Illustrator: Roger Van Hecke