Defensive Destillation
Die defensive Destillation ist eine Trainingstechnik, die im Bereich des Machine Learning, insbesondere im Kontext des Deep Learning, eingesetzt wird. Diese Technik schützt neuronale Netze vor gegnerischen Angriffen und soll den Machine-Learning-Algorithmus flexibler machen, damit das Modell weniger anfällig für Adversarial Attacks ist.
Beim Destillationstraining wird ein neuronales Schülernetz darauf trainiert, die wahrscheinlichen Ausgabeergebnisse eines neuronalen Lehrernetzes vorherzusagen. Dieser Prozess zielt darauf ab, die Allgemeingültigkeit und Robustheit des Schülernetzes zu verbessern und gleichzeitig dessen Performance zu erhalten.
Der wesentliche Vorteil des Destillationsansatzes besteht darin, dass er an unbekannte Bedrohungen angepasst werden kann. Im Gegensatz zum Adversarial Learning, bei dem kontinuierlich gegnerische Beispiele in das Modell eingespeist werden müssen, ist die defensive Destillation ein dynamischerer Ansatz und erfordert einen geringeren Pflegeaufwand.
Der größte Nachteil ist, dass das Schülernetz zwar mehr Spielraum hat, um Eingabemanipulationen abzulehnen, aber immer noch an die allgemeinen Regeln des neuronalen Lehrernetzes gebunden ist. Bei ausreichender Rechenleistung und entsprechender Feinabstimmung seitens des Angreifers können in beiden Modellen mittels Reverse Engineering grundlegende Schwachstellen aufgespürt werden. Des Weiteren sind Destillationsmodelle anfällig für sogenannte Poisoning Attacks, bei denen die ursprüngliche Trainingsdatenbank von einem Bedrohungsakteur beschädigt wird.
Grundsätzlich ist die defensive Destillation ein vielversprechender Ansatz, um die Robustheit neuronaler Netze gegen Adversarial Attacks zu verbessern. Indem ein Schülernetz die wahrscheinlichen Ausgabeergebnisse eines Lehrernetztes verwertet, wird das Modell widerstandsfähiger gegen bösartige Eingaben. Dennoch ist es wichtig, die Grenzen dieses Ansatzes zu erkennen. Um die Sicherheit maschineller Lernsysteme zu gewährleisten, sollte die defensive Destillation weiterentwickelt und zudem mit anderen Verteidigungsansätzen wie dem Adversarial Learning kombiniert werden.
Quellen:
https://deepai.org/machine-learning-glossary-and-terms/defensive-distillation (englisch)
https://www.activeloop.ai/resources/glossary/defensive-distillation/ (englisch)