IT-Prüfung mit LLMs (Gast-Beitrag)

Der Prüfungsprozess hat sich im Laufe der Jahre aufgrund des technologischen Fortschritts und der Veränderungen in diesem Bereich drastisch weiterentwickelt. Dazu gehören die Migration von Systemen und Anwendungen auf Cloud-Plattformen und die exponentielle Zunahme von Systemen, die personenbezogene Daten (PII) erfassen, speichern und verarbeiten, sowie verschärfte Datenschutzbestimmungen und eine immer komplexere Cybersicherheitslandschaft. ¹ In den letzten zehn Jahren haben sich die Unternehmen in die digitale Transformation gestürzt. Diese Transformation umfasst die Nutzung neuer Technologien wie die Automatisierung von Roboterprozessen (RPA), künstliche Intelligenz (KI), Cloud Computing und das Internet der Dinge (IoT), die neuen Herausforderungen in Bezug auf die Prüfung dieser aufkommenden Technologien und die Minderung des Risikos, das sie für Unternehmen darstellen, mit sich gebracht haben. ²

© Storyblocks, Registriert auf Andreas Wisler 

Aus einer anderen Perspektive erleben Organisationen die digitale Transformation der Wirtschaftsprüfung, die den Einsatz neuer Technologien zur Verbesserung des Prüfungsprozesses und zur Erreichung kontinuierlicher Prüfungen, vorausschauender Prüfungen und mehr umfasst. Darüber hinaus werden KI, natürliche Sprachverarbeitung (NLP) und maschinelles Lernen (ML) eine entscheidende Rolle bei der Förderung dieser Transformation spielen. ³

Seit der Veröffentlichung von OpenAI's ChatGPT ⁴ und der Popularisierung von großen Sprachmodellen (LLMs) gibt es ein wachsendes Interesse an der Integration dieser Technologien in Organisationen, um die betriebliche Effizienz zu verbessern. Es gibt viele Beispiele für Anwendungsfälle und Anwendungen in verschiedenen Bereichen, einschließlich Softwarebeschaffung, ⁵ Codebewertung und -verbesserung, ⁶ Testerstellung, ⁷ Cybersicherheit, ⁸ und kontinuierlicher Kontenprüfung. ⁹

Dieser Kontext hat die Voraussetzungen für die Integration der Rechnungsprüfung mit neuen Technologien wie LLM geschaffen, die das Potenzial haben, den Rechnungsprüfungsprozess durch größere Genauigkeit, Automatisierung und einen proaktiven Ansatz zu revolutionieren.

Mit der zunehmenden Verbreitung von LLMs werden Organisationen muss untersuchen und bewerten, wie diese Modelle im Bereich der Prüfung von Informationssystemen angewendet werden können. Mit anderen Worten, der Schwerpunkt muss eher auf der Prüfung mit LLM als auf der Prüfung von LLM liegen selbst. Es stellt sich die Frage, inwieweit diese Technologien in die verschiedenen Phasen des Prüfungsprozesses - von der Planung und Durchführung bis hin zur Berichterstattung und Nachbereitung - integriert werden können. Es ist entscheidend um ihr Potenzial zur Verbesserung der Effizienz, Genauigkeit und Wirksamkeit bei der Risikoerkennung und Einhaltung von Vorschriften zu bewerten. Organisationen müssen Bereiche identifizieren wo LLMs einen greifbaren Wert hinzufügen können und wo menschliches Eingreifen unverzichtbar bleibt, wobei die Anpassung an etablierte Audit-Standards wie die von ISACA® im IT Audit Framework (ITAF) umrissenen sichergestellt wird. ¹⁰ Durch die strategische Integration von LLMs können Organisationen die Effizienz und Effektivität ihrer Audit-Prozesse verbessern.

Die vorliegende Analyse baut auf den typischen Phasen des Prüfungsprozesses auf: Planung, Untersuchung vor Ort, Dokumentation und Berichterstattung. Jede Phase Prüfungsverfahrens wird anschließend in wichtige Schritte unterteilt.

Diese grundlegenden Schritte zeigen, wie LLMs effektiv integriert werden können, um den Prüfungsprozess zu erweitern und zu modernisieren. 

Umgestaltung der Prüfungsplanung mit LLMs

Die Planungsphase ist ein grundlegender Schritt bei einer Prüfung, da sie die Parameter und den Schwerpunkt des gesamten Prüfungsauftrags festlegt.

Bestimmung des Prüfungsthemas

In der Unterphase „Bestimmung des Prüfungsthemas" können LLMs die Effizienz steigern, indem sie wichtige Prüfungsbereiche ermitteln. Zu diesem Zweck werden die LLMs darin geschult, große Mengen an historischen Daten zu analysieren, darunter frühere Prüfungen, Protokolle zu Sicherheitsvorfällen und Risiken sowie andere relevante dokumentierte Daten. LLMs analysieren diese Daten, um Muster wiederkehrender Probleme oder Bereiche zu identifizieren, die nicht ausreichend geprüft wurden. Dies bietet Prüfern eine bessere Grundlage für strategische Entscheidungen darüber, welche Bereiche geprüft werden sollen, da sie sich auf objektive, faktische Daten stützen müssen und nicht nur auf Intuition oder frühere Erfahrungen.

Darüber hinaus können LLMs historische Daten analysieren, um aufkommende Trends in der Risikoumgebung und im regulatorischen Umfeld zu erkennen. Dazu gehört die Identifizierung neuer Cyber-Bedrohungen und Änderungen in den Compliance-Vorschriften, die sich auf die Organisation auswirken könnten. Diese Modelle können Trends vorhersehen, sodass Auditoren einen Schritt voraus sein können, indem sie sich auf aufkommende Risiken konzentrieren und sicherstellen, dass die Organisation auf neue Bedrohungen vorbereitet ist. Darüber hinaus unterstützen LLMs Organisationen bei der Einhaltung aktualisierter regulatorischer Anforderungen. Wenn ein LLM beispielsweise eine Zunahme von Ransomware-Angriffen in der Branche feststellt, kann es vorschlagen, Audits in Bereichen zu priorisieren, die für Ransomware-Angriffe am anfälligsten sind. Ebenso kann das LLM bei kürzlichen Änderungen der Vorschriften die Aufnahme von Compliance-Audits empfehlen, um sicherzustellen, dass die Organisation mit diesen neuen Vorschriften in Einklang steht.

LLMs sind auch nützlich, um bei der Analyse der IT-Architektur und der Beziehungen zwischen Systemen oder Funktionen Abhängigkeiten abzubilden. Diese Fähigkeit ist in komplexen IT-Umgebungen von entscheidender Bedeutung, in denen ein Fehler in einem System einen Dominoeffekt in anderen Systemen auslösen kann. Auf diese Weise stellen LLMs sicher, dass die Prüfung sowohl die offensichtlichen Bereiche als auch diejenigen umfasst, die aufgrund ihrer Interaktionen mit anderen Systemen kritisch sein könnten. Diese Fähigkeit hilft, systemische Fehler zu vermeiden, die ohne eine gründliche Analyse der Abhängigkeiten möglicherweise nicht erkennbar wären.

Durch den Einsatz von LLMs in der Unterphase „Prüfungsgegenstand bestimmen" können Organisationen die Identifizierung von Prüfungsbereichen optimieren, was zu einer strategischeren und datenbasierten Auswahl führt. Durch die Integration von prädiktiven Analysen und regulatorischen Kontextualisierungsfunktionen helfen LLMs den Prüfern, ihre Bemühungen auf die Bereiche zu konzentrieren, die das größte Risiko darstellen oder sofortige Aufmerksamkeit erfordern, und sorgen so für eine effektivere Prüfung, die auf die Prioritäten der Organisation abgestimmt ist.

Prüfungsziel definieren

In der Unterphase „Prüfungsziel definieren" können LLMs bei der Definition klarer Prüfungsziele helfen, die mit den relevanten Vorschriften und Standards übereinstimmen, wie z. B. der EU-Datenschutz-Grundverordnung (DSGVO), ¹¹ dem US-amerikanischen Sarbanes-Oxley Act (SOX), ¹² oder der Norm ISO/IEC 27001:2022. ¹³ LLMs können Vorschriften, Branchenstandards und interne Richtlinien analysieren, um die wichtigsten Anforderungen zu ermitteln, die erfüllt werden müssen. So können Prüfer Ziele festlegen, die den Erwartungen der Aufsichtsbehörden und den internen Richtlinien der Organisation entsprechen.

LLMs sind auch bei der Erstellung risikobasierter Ziele effektiv. Durch die Analyse historischer Schwachstellen und Risiken können LLMs bei der Definition von Zielen helfen, die die Bereiche mit dem größten Risiko ansprechen, und so sicherstellen, dass sich die Prüfung auf die anfälligsten Punkte der Organisation konzentriert.

Darüber hinaus können LLMs Prüfungsansätze festlegen und anpassen, die auf unterschiedliche Ebenen der Vollständigkeit, Formalität und Genauigkeit zugeschnitten sind, je nach den spezifischen Anforderungen des jeweiligen Prozesses. Wenn eine Prüfung von hoher Kritikalität ist oder in regulierten Umgebungen stattfindet, wie z. B. bei der Überprüfung eines Finanzsystems gemäß SOX oder DSGVO, kann der LLM einen umfassenden Ansatz empfehlen. Dieser Ansatz würde eine detaillierte Analyse aller Transaktionen und Aufzeichnungen, strenge technische Tests und gründliche Prüfungen der Einhaltung von Vorschriften umfassen. Bei einer vorläufigen internen Prüfung oder routinemäßigen Prüfungen mit geringem Risiko kann der LLM den Ansatz hingegen anpassen, indem er eine Stichprobenmethode vorschlägt und sich auf Bereiche mit der höchsten Ausfallwahrscheinlichkeit konzentriert. Dieser flexible Ansatz spart Ressourcen und Zeit, indem er sich nur auf die kritischsten Bereiche konzentriert und eine Prüfung des gesamten Systems überflüssig macht. Letztendlich passen die LLM den empfohlenen Ansatz an die Präferenzen des Prüfers an, passen aber auch die Strenge und Formalität des Ansatzes an die Ziele an, um sicherzustellen, dass der Prozess effizient und für die spezifische Situation relevant ist.

Die Verwendung von LLMs in der Unterphase „Prüfungsziel definieren" vereinfacht die Festlegung klarer, an den Vorschriften ausgerichteter Ziele und stellt sicher, dass sich die Bemühungen auf die wichtigsten Aspekte konzentrieren, was einen präziseren und strategischeren Ansatz ermöglicht.

Prüfungsumfang festlegen

In der Unterphase „Prüfungsumfang festlegen" können LLMs Prüfern dabei helfen, kritische Systeme, Funktionen, Einheiten und Anwendungen innerhalb der Technologieinfrastruktur zu identifizieren. Sie können viele Dokumente wie Netzpläne, detaillierte Anlageninventare, Anwendungs- und Systemkonfigurationsprotokolle, Benutzer- und Berechtigungslisten, Aktivitätsprotokolle, Vorfallprotokolle sowie alle relevanten Richtlinien und Verfahren verarbeiten und analysieren. Mit diesen Informationen können LLMs wichtige Abhängigkeiten zwischen verschiedenen Komponenten der IT-Umgebung hervorheben, potenzielle Schwachstellen identifizieren oder Bereiche mit hohem Risiko aufzeigen.

Auf diese Weise erhalten Prüfer ein umfassenderes Bild der Beziehungen zwischen den Systemen und können fundiertere Entscheidungen darüber treffen, welche Bereiche in den Prüfungsumfang einbezogen werden sollten. Dadurch wird sichergestellt, dass die Ressourcen auf die Bereiche mit der größten Kritikalität oder Anfälligkeit konzentriert werden.

Darüber hinaus können LLMs bei der Optimierung von Ressourcen helfen. Bei der Festlegung des Prüfungsumfangs müssen die verfügbaren Ressourcen berücksichtigt werden, sowohl in Bezug auf die Zeit als auch auf die technischen Fähigkeiten des Prüfungsteams. LLMs können Ansätze vorschlagen, die die Nutzung dieser Ressourcen maximieren, z. B. die Konzentration auf Bereiche, in denen das Team über das größte Fachwissen verfügt, oder die Empfehlung des Einsatzes automatisierter Tools zur Unterstützung in technischeren Bereichen.

LLMs können den Umfang der Prüfung optimieren, indem sie eine Vielzahl von Informationen im Zusammenhang mit den Fähigkeiten des Prüfungsteams analysieren, wie z. B. die Anzahl der verfügbaren Mitarbeiter, ihre technischen Fähigkeiten und die für den Abschluss der Prüfung vorgegebenen Zeitrahmen. Sie können Optimierungen auf der Grundlage von Ressourcen- und Zeitbeschränkungen vorschlagen. Beispielsweise kann es dabei helfen, festzustellen, welche Bereiche der Prüfung mehr oder weniger Zeit und Aufwand erfordern könnten. Wenn das Team eingeschränkt ist, kann es vorschlagen, Ressourcen den wichtigsten Bereichen neu zuzuweisen, um eine effiziente Nutzung der Ressourcen sicherzustellen.

Zusammenfassend lässt sich sagen, dass LLMs den Prozess der Festlegung des Prüfungsumfangs verändern können, indem sie sicherstellen, dass dieser genau, fokussiert und auf die verfügbaren Ressourcen abgestimmt ist. Durch die Abbildung von Technologieabhängigkeiten, die Priorisierung kritischer Bereiche und die Optimierung des Ressourceneinsatzes ermöglichen LLMs es Prüfern, einen Umfang festzulegen, der relevante Punkte abdeckt und die Wirksamkeit der Prüfung maximiert, wodurch eine umfassende und aussagekräftige Bewertung sichergestellt wird.

Planung der Vorabprüfung

In der Unterphase „Planung der Vorabprüfung" können LLMs die Risikobewertung automatisieren und kritische Bereiche identifizieren, die während der Prüfung weitere Aufmerksamkeit erfordern. Diese Fähigkeit ist unerlässlich, um zu planen, wie die Bereiche mit dem größten Risiko gemindert werden können, und um eine effektive Prüfung zu gewährleisten.

LLMs können auch bei der Erstellung von Interviewfragen helfen, indem sie Problembereiche identifizieren. LLMs können spezifische Interviewfragen für Prüfer erstellen, um eine umfassende Abdeckung aller Themen zu gewährleisten, und die Antworten für eine weitere Analyse aufzeichnen.

Schließlich können LLMs bei der Ressourcen- und Logistikplanung Empfehlungen für die Zuweisung von Ressourcen, Budgets und Logistik geben und so den Planungsprozess auf der Grundlage der definierten Komplexität und des Umfangs optimieren. So kann ein LLM beispielsweise bei der Planung einer Cybersicherheitsprüfung die erforderlichen technischen Fähigkeiten, wie z. B. Kenntnisse im Bereich Cloud-Sicherheit, ermitteln und die Aufnahme eines Experten auf diesem Gebiet in das Prüfungsteam vorschlagen.

Festlegung von Prüfungsverfahren und Schritten zur Datenerfassung

In der Unterphase „Festlegung von Prüfungsverfahren und Schritten zur Datenerfassung" sind LLMs für die Entwicklung maßgeschneiderter Prüfwerkzeuge von entscheidender Bedeutung. Sie können bei der Entwicklung von Skripten und Werkzeugen helfen, die auf die spezifischen Systeme und Technologien der Organisation zugeschnitten sind, und so sicherstellen, dass die Werkzeuge effektiv sind und den Prüfungszielen entsprechen.

LLMs sind auch bei der Auswahl von Bewertungsmethoden hilfreich. Auf der Grundlage des ermittelten Risikos können sie die am besten geeigneten Bewertungsmethoden vorschlagen, wie z. B. Penetrationstests, Zugriffsüberprüfungen oder Protokollanalysen.

Darüber hinaus können LLMs in bestehende Systeme integriert werden, um die Datenerfassung für Audits zu automatisieren und die Genauigkeit und Vollständigkeit der Daten sicherzustellen.

Beispielsweise könnte ein LLM bei der Prüfung der Sicherheit eines Datenbanksystems automatisch ein Skript erstellen, um Sicherheitseinstellungen zu bewerten, Benutzer mit erweiterten Berechtigungen zu identifizieren und Zugriffsprotokolle auf verdächtige Aktivitäten zu analysieren.

LLMs in Aktion: Verbesserung der Arbeit vor Ort und der Dokumentation

Die Vor-Ort- und Dokumentationsphase ist das operative Herzstück der Prüfung, in der Daten gesammelt, Kontrollen getestet, Probleme identifiziert und Ergebnisse dokumentiert werden.

Datenerfassung

Die Teilphase „Datenerfassung" profitiert erheblich vom Einsatz von LLMs während der Vor-Ort-Arbeit und der Dokumentationsphase. LLMs können in die Datenbanken und Systeme der Organisation integriert werden, um die Erfassung prüfungsrelevanter Daten zu automatisieren.

Dazu gehört das Extrahieren von Protokollen, Aktivitätsprotokollen, Systemkonfigurationen und anderen erforderlichen Informationen. Es sollte jedoch beachtet werden, dass die Gewährung des Zugriffs auf sensible Prüfungsdaten für LLMs ein potenzielles Risiko darstellt, wie z. B. unbefugter Zugriff, Datenlecks, Datenschutzbedenken und Herausforderungen bei der Einhaltung von Vorschriften, was die Notwendigkeit strenger Aufsichts- und Kontrollmaßnahmen zur Wahrung der Datenintegrität verstärkt.

LLMs können auch die Integrität der erfassten Daten überprüfen und sicherstellen, dass keine Daten fehlen oder beschädigt sind, die die Gültigkeit der Prüfung beeinträchtigen könnten. Bei einer Netzwerksicherheitsprüfung könnte ein LLM beispielsweise eine Verbindung zu Netzwerküberwachungssystemen herstellen, um Zugriffsprotokolle, Änderungsprotokolle für die Firewall-Konfiguration und Daten zur Benutzeraktivität zu extrahieren. Durch die nahtlose Verbindung zu diesen Systemen und Protokollen können LLMs überprüfen, ob alle erforderlichen Aufzeichnungen vollständig und unverändert sind.

Testkontrollen

In der Unterphase „Testkontrollen" können LLMs benutzerdefinierte Skripte erstellen und ausführen, um die internen Kontrollen der Organisation zu testen. Diese Skripte können die Wirksamkeit von Zugriffskontrollen, Anwendungssicherheitseinstellungen und die korrekte Umsetzung von Compliance-Richtlinien überprüfen. Darüber hinaus können LLMs die Ergebnisse dieser Tests in Echtzeit analysieren und Anomalien oder Kontrollfehler identifizieren, die sofortige Aufmerksamkeit erfordern. Bei einer Prüfung von Zugriffskontrollen könnte ein LLM beispielsweise ein Skript ausführen, das überprüft, ob der Zugriff auf autorisiertes Personal beschränkt ist und ob die Richtlinien für die Sitzungsdauer und die mehrstufige Authentifizierung (MFA) eingehalten werden. Durch die Verwendung dieses Skripts können LLMs jede Nichteinhaltung sofort erkennen und melden.

Problemfindung und -validierung

In der Unterphase „Problemfindung und -validierung" können LLMs die Ergebnisse von Kontrolltests und die erfassten Daten analysieren, um Probleme oder Fehler zu identifizieren, die Aufmerksamkeit erfordern.

Diese Entdeckungen können automatisch nach ihrem Schweregrad und ihren potenziellen Auswirkungen auf die Organisation kategorisiert werden. Darüber hinaus können LLMs diese Ergebnisse anhand von Vorschriften, internen Richtlinien und bewährten Verfahren der Branche validieren, um festzustellen, ob sofortige Maßnahmen erforderlich sind. Wenn ein LLM beispielsweise falsch konfigurierte Zugriffsberechtigungen in einem kritischen System feststellt, kann er einen Untersuchungsbericht erstellen, in dem das Risiko als hoch eingestuft und eine dringende Überprüfung durch das IT-Team empfohlen wird.

Ergebnisse dokumentieren

In der Unterphase „Ergebnisse dokumentieren" können LLMs das Verfassen von Auditberichten auf der Grundlage validierter Ergebnisse automatisieren. Diese Berichte können auf verschiedene Zielgruppen zugeschnitten werden, von detaillierten technischen Berichten für IT-Teams bis hin zu Zusammenfassungen für die Geschäftsleitung.

Von den Feststellungen zur Nachverfolgung: LLMs in der Berichterstattung

Die Berichtsphase ist die letzte Phase der Prüfung, in der die Ergebnisse zusammengestellt, dokumentiert und den relevanten Interessengruppen mitgeteilt werden, um sicherzustellen, dass die Ergebnisse der Prüfung klar, umsetzbar und zugänglich sind.

Anforderungen an den Bericht

In der Berichtsphase, während der Unterphase „Anforderungen an den Bericht erfassen", helfen LLMs bei der Ermittlung der wichtigsten Anforderungen, die in den Auditbericht aufgenommen werden sollen. LLMs können interne Richtlinien, externe Vorschriften und Branchenstandards überprüfen, um diese Anforderungen zu ermitteln und sicherzustellen, dass der Bericht alle behördlichen Erwartungen und die Bedürfnisse der Stakeholder erfüllt. Darüber hinaus können LLMs den Bericht anpassen, indem sie die Bedürfnisse der verschiedenen Zielgruppen innerhalb der Organisation analysieren und für jede Gruppe die geeignete Struktur und den geeigneten Inhalt vorschlagen. Wenn beispielsweise die Anforderungen für einen Auditbericht zur Informationssicherheit zusammengestellt werden, könnte ein LLM vorschlagen, spezifische Abschnitte zur Einhaltung von Vorschriften, wie ISO/IEC 27001, wichtige sicherheitsbezogene Leistungskennzahlen und eine Zusammenfassung mit strategischen Empfehlungen für die Geschäftsleitung aufzunehmen.

Berichtsentwurf

In der Teilphase „Berichtsentwurf" können LLMs einen Entwurf eines Prüfungsberichts auf der Grundlage der in den vorherigen Phasen gewonnenen Daten und Erkenntnisse erstellen. Dieser Entwurf kann detaillierte Beschreibungen der Ergebnisse, eine Risikoanalyse und Empfehlungen enthalten, die auf den Stil und den Tonfall zugeschnitten sind, die für die Zielgruppe angemessen sind. LLMs können auch den ersten Entwurf des Berichts überprüfen, um Konsistenz, Klarheit und Genauigkeit sicherzustellen. Diese Überprüfung kann die Identifizierung von Bereichen umfassen, die weiterer Details oder Vereinfachung bedürfen, sowie Vorschläge für Verbesserungen der Formulierung, um sicherzustellen, dass der Bericht verständlich und überzeugend ist. Bei einer Compliance-Prüfung könnte ein LLM beispielsweise einen ersten Bericht erstellen, der die bewerteten Kontrollen, die wichtigsten Compliance-Ergebnisse und Empfehlungen zur Verbesserung der Risikomanagementpraktiken beschreibt. Der LLM kann dann die Sprache verfeinern, um sie für das Compliance-Team und die Geschäftsführung zugänglich zu machen.

Problembericht

In der Unterphase „Problembericht" können LLMs verschiedene Versionen des Abschlussberichts erstellen, die auf verschiedene Zielgruppen zugeschnitten sind, z. B. die Geschäftsleitung, das IT-Team und externe Aufsichtsbehörden. Dadurch wird sichergestellt, dass jede Gruppe die benötigten Informationen in einem leicht verständlichen und anwendbaren Format erhält. Darüber hinaus können LLMs automatisch den richtigen Bericht zur richtigen Zeit an die richtigen Personen senden und aufzeichnen, wer ihn erhalten hat. Wenn beispielsweise ein Auditbericht über die Sicherheit eines ERP-Systems (Enterprise Resource Planning) erstellt wird, kann der LLM eine detaillierte Version für das technische Team mit Kontrollspezifikationen, eine zusammenfassende Version für die Geschäftsleitung, in der kritische Risikobereiche und wichtige Empfehlungen hervorgehoben werden, und eine Compliance-Version, die an die Aufsichtsbehörden gesendet wird, erstellen. LLMs können den Bericht sogar in verschiedene Sprachen übersetzen und den Inhalt an verschiedene Regionen oder Vorschriften anpassen, um sicherzustellen, dass die Ergebnisse in allen relevanten Kontexten verständlich und anwendbar sind. Nach Abschluss der Prüfung eines ERP-Systems könnte ein LLM beispielsweise einen detaillierten Bericht über die Ergebnisse erstellen, der eine Zusammenfassung für die Geschäftsleitung enthält, in der die wichtigsten Problembereiche erläutert und Empfehlungen in klarer und prägnanter Form gegeben werden. Wenn das Unternehmen in mehreren Ländern tätig ist, könnte der LLM den Bericht auch in mehrere Sprachen übersetzen, um sicherzustellen, dass er in allen Regionen verstanden wird.

Nachverfolgung

In der Unterphase „Nachverfolgung" können LLMs den Prozess der Umsetzung der im Auditbericht empfohlenen Korrekturmaßnahmen automatisieren. Sie können auch automatische Nachverfolgungen planen und durchführen, Erinnerungen an die verantwortlichen Parteien senden, den Fortschritt der umgesetzten Maßnahmen verfolgen und Statusberichte für Auditoren und das Management erstellen. Darüber hinaus können LLMs die Ergebnisse der Nachverfolgung analysieren, um die Auswirkungen der umgesetzten Korrekturmaßnahmen zu bewerten und Verbesserungen bei Kontrollen oder Bereiche zu ermitteln, die weitere Aufmerksamkeit erfordern. Wenn beispielsweise bei einer Prüfung Mängel im Zugriffsmanagement festgestellt werden, kann ein LLM die Nachverfolgung der empfohlenen Korrekturen automatisieren. Dies umfasst das Versenden von Erinnerungen an das IT-Team, die Erstellung regelmäßiger Berichte über den Status der umgesetzten Verbesserungen und die Bewertung, ob diese Maßnahmen die ursprünglich identifizierten Risikobereiche wirksam reduziert haben.

Umgang mit dem Risiko von LLM bei der Prüfung

Es gibt potenzielle Risikofaktoren, die bei der Integration von LLMs in die IT-Prüfung sorgfältig berücksichtigt werden müssen. Wenn LLMs Zugriff auf sensible Daten erhalten, kann dies zu unbeabsichtigten Risiken führen, einschließlich unbefugtem Zugriff und potenziellen Datenlecks. Die Einhaltung von Vorschriften wird komplex, wenn LLMs versehentlich Daten außerhalb der gesetzlichen Grenzen verarbeiten.

Datenintegrität und Voreingenommenheit sind weitere Risikoquellen. Da LLMs aus historischen Daten lernen, können darin enthaltene Verzerrungen oder Ungenauigkeiten die Ergebnisse und die Zuverlässigkeit der Prüfungsergebnisse beeinflussen. Es besteht auch die Gefahr, dass man sich zu sehr auf LLMs verlässt, was zwar effizient ist, aber zu weniger menschlicher Kontrolle und einem Verlust der nuancierten Erkenntnisse und des professionellen Urteilsvermögens führen kann, die für eine umfassende Prüfung unerlässlich sind. Ein weiterer wichtiger Aspekt ist, dass LLMs oft als „Black Box" fungieren, was es für Prüfer schwierig macht, vollständig zu verstehen, wie Entscheidungen getroffen werden, was sich auf das Vertrauen in und die Rechenschaftspflicht für die Prüfungsergebnisse auswirken kann.

Darüber hinaus vergrößert die Verknüpfung von LLM mit mehreren Datenquellen die Angriffsfläche des Systems und führt zu Schwachstellen, die ausgenutzt werden könnten.

Angesichts dieser Risikoszenarien ist ein ausgewogener Ansatz, der robuste Sicherheit, Datenverwaltung und kontinuierliche menschliche Aufsicht kombiniert, unerlässlich.

Schlussfolgerung

LLMs haben sich als leistungsstarke Werkzeuge erwiesen, die die Art und Weise, wie IT-Audits durchgeführt werden, erheblich verändern können. Durch die Automatisierung sich wiederholender Aufgaben, die Verbesserung der Genauigkeit der Analyse und die Bereitstellung datengestützter Erkenntnisse ermöglichen diese Modelle es den Prüfern, sich auf strategischere und kritischere Aspekte der Prüfung zu konzentrieren.

Es ist jedoch wichtig zu wissen, dass LLMs zwar die Effizienz und Effektivität des Prüfungsprozesses steigern können, aber nicht das Fachwissen und die professionelle Urteilsfähigkeit des menschlichen Prüfers ersetzen können. Das wahre Potenzial dieser Tools wird ausgeschöpft, wenn sie mit menschlichem Fachwissen kombiniert werden, um Prüfungen zu gewährleisten, die sowohl gründlich als auch strategisch auf die Unternehmensziele ausgerichtet sind. Um dieses Gleichgewicht zu erreichen, ist ein sorgfältiges Risikomanagement erforderlich, das nicht nur die Vorteile der LLM-Integration maximiert, sondern auch eine sichere, konforme und effektive Prüfungsumgebung gewährleistet.

Da sich die technologische Umgebung ständig weiterentwickelt und Risiken immer komplexer werden, bieten LLMs eine Möglichkeit, die Produktivität und Qualität bei der Systemprüfung zu maximieren.

In einer Welt, in der Zeit eine immer wertvollere Ressource ist, können LLMs als wertvolle Assistenten dienen, die Prüfern dabei helfen, sich in einer immer komplexeren digitalen Umgebung zurechtzufinden, und sicherstellen, dass Organisationen ein hohes Maß an Sicherheit und Compliance aufrechterhalten.

Autoren

Suárez ist seit 2021 ehrenamtlich bei ISACA® tätig und Mitglied des Vorstands von ISACA Montevideo. Suarez war früher als Berater in der Abteilung für Informationssicherheit bei NTT Data tätig. Er hat außerdem Finanz- und Systemprüfungen bei der Obersten Rechnungskontrollbehörde von Uruguay durchgeführt. Er ist unter Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein. erreichbar.

MARIO PIATTINI | PH.D., CISA, CISM, CRISC, CGEIT, PMP
Er ist Direktor des UCLM-Indra Joint Centre for Software Research and Development und des Institute of Information Technologies and Systems. Mario Piattini ist Gründer und Mitglied mehrerer wissenschaftlicher und professioneller Vereinigungen, wie z. B. des ISACA Madrid Chapter. Er ist außerdem Autor zahlreicher Artikel und Bücher über IT-Governance, Daten und Software, Qualität und IS-Audit.

Piattini hat mehrere Informatikpreise erhalten und ist Gründungspartner mehrerer Unternehmen und Universitätsausgründungen. Er ist Professor an der Universität von Castilla-La Mancha (Ciudad Real, Spanien). Sie erreichen ihn unter Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein..

Fußnoten

¹ Sayana, S. A.; "The Evolution of Information Systems Audit," ISACA® Journal, vol. 1, 2022, https://www.isaca.org/archives

² Qureshi, M.A.; "Auditing Emerging Technologies: Facing New-Age Challenges," ISACA Journal, vol. 2, 2020, https://www.isaca.org/archives

³ Appelbaum, D., Kogan, A.; et al.; "Big Data and Analytics in the Modern Audit Engagement: Research Needs," Auditing, vol. 36, iss. 4, 2017, p. 1-27, https://www.researchwithrutgers.com/en/publications/big-data-and-analytics-in-the-modern-audit-engagement-research-ne; Menon, S.; "How Can AI Drive Audits?," ISACA Journal, vol. 4, 2020, https://www.isaca.org/archives

⁴ OpenAI, ChatGPT, https://openai.com/chatgpt/

⁵ Ballomo, S.; Zhang, S.; et al.; "Assessing Opportunities for LLMs in Software Engineering and Acquisition," Carnegie Mellon University, Pennsylvania, UAS, 1 November 2023, https://insights.sei.cmu.edu/library/assessing-opportunities-for-llms-in-software-engineering-and-acquisition/

⁶ White, J.; Hays, S.; et al.; "ChatGPT Prompt Patterns for Improving Code Quality, Refactoring,Requirements Elicitation, and Software Design," in Generative AI for Software Development, p. 71-108, Springer, 2024, https://doi.org/10.1007/978-3-031-55642-5_4

⁷ M. Schäfer; S. Nadi; et al.; "An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation," IEEE Transactions on Software Engineering, vol. 50, iss. 1, 2024, p. 85-105, https://dl.acm.org/doi/10.1109/TSE.2023.3334955

⁸ Gupta, M.; Charankumar, A.; et al.; "From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy," IEEE Access, vol. 1, 2023, https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10198233

⁹ Huaxia, Li.; Machado de Freitas, M.; et al.; "Enhancing Continuous Auditing With Large Language Models: AI-Assisted Real-Time Accounting Information Cross-verification," SSRN, 9 February 2024, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4692960

¹⁰ ISACA, IT Audit Framework (ITAF), 4th Edition, 2020, https://www.isaca.org/itaf

¹¹ Intersoft Consulting, "General Data Protection Regulation (GDPR)," https://gdpr-info.eu/

¹² Fruhlinger, J.; "The Sarbanes-Oxley Act Explained: Definition, Purpose, and Provisions," CSO, 30 November 2020, https://www.csoonline.com/article/570121/the-sarbanes-oxley-act-explained-definition-purpose-and-provisions.html

¹³ International Organization for Standardization (ISO) and International Electrotechnical Commission (IEC), Joint Technical Committee on Information Technology (ISO/IEC JTC 1), ISO/IEC 27001:2022 Information security, cybersecurity and privacy protection – Information security management systems – Requirements, Edition 3, 2022, https://www.iso.org/standard/27001