Sicherheitsbedrohungen in KI-Anwendungen

Dr. Niklas Bunzel ist Wissenschaftler am Fraunhofer SIT und dem Forschungszentrum ATHENE. Dort koordiniert er ein Team zur Sicherheit von KI-Systemen mit Fokus auf Robustheit und Angriffserkennung. Seit 2023 wirkt er im Kernteam des OWASP AI Exchange an nationalen und internationalen Sicherheitsrichtlinien und Standards mit. Sein Fachwissen bringt er auch in die Lehre ein.

• Einführung: Zielsetzung und Nutzen des Buches sowie die Zielgruppe und der Anwendungskontext werden erläutert.Grundlagen und Rahmenbedingungen: Definition und Einordnung von KI-Sicherheit, Abgrenzung zur IT-Sicherheit und Risiken durch generative KI wie Deepfakes.Technologische Grundlagen von KI-Systemen: Beschreibung von KI-Modellen, Daten als Rohstoff und technologischem Stack.Rechtliche und normative Rahmenbedingungen: EU AI Act, relevante ISO/IEC-Standards und nationale Regulierungen.Risikomanagement in KI-Projekten: Methoden zur Risikoanalyse, Rollen und Verantwortlichkeiten sowie Threat Modeling.Angriffsszenarien und Schwachstellen: Verschiedene Bedrohungen wie Evasion Attacks, Data Poisoning und Model Theft sowie systemische Verwundbarkeiten.Schutzmaßnahmen und Best Practices: Technische Schutzmechanismen, sichere Entwicklung und Deployment sowie organisatorische Maßnahmen.Fallstricke und Lessons Learned: Typische Fehler in KI-Projekten, Praxisberichte und Checklisten zur Selbstbewertung.Strategische Perspektiven: Sicherheitsstrategie für KI im Unternehmen, Rollenverteilung und Zusammenarbeit mit Anbietern und Behörden sowie Zukunftsausblick auf Bedrohungen.