CrowdStrike und Meta entwickeln neue KI-Benchmarks für Cybersicherheit

CrowdStrike hat gemeinsam mit Meta eine Benchmark-Suite vorgestellt, die den Einsatz von Künstlicher Intelligenz in realen Sicherheitsumgebungen besser messbar machen soll. Das neue Tool trägt den Namen CyberSOCEval und basiert auf Metas Open-Source-Rahmenwerk CyberSecEval. Ergänzt wird es durch CrowdStrikes eigene Bedrohungsanalysen aus dem praktischen Einsatz.

Mit CyberSOCEval lassen sich große Sprachmodelle (LLMs) gezielt in zentralen Arbeitsabläufen von Security Operations Centers (SOCs) testen. Ziel ist es, ihre Leistungsfähigkeit bei der Erkennung und Abwehr von Angriffen praxisnah zu bewerten.

Das Besondere an dem Projekt: Die Benchmarks sind quelloffen angelegt und sollen von der Sicherheits- und KI-Community weiterentwickelt werden. Damit wollen die Partner erreichen, dass Fortschritte im Umgang mit KI-basierten Bedrohungen schneller in die Breite getragen werden.