{"id":305720,"date":"2024-11-03T00:19:08","date_gmt":"2024-11-02T23:19:08","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=305720"},"modified":"2024-11-03T01:38:48","modified_gmt":"2024-11-03T00:38:48","slug":"google-deckt-mit-ki-schwachstelle-in-sqlite-auf","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2024\/11\/03\/google-deckt-mit-ki-schwachstelle-in-sqlite-auf\/","title":{"rendered":"Google deckt mit KI Schwachstelle in SQLite auf"},"content":{"rendered":"

\"Sicherheit[English<\/a>]Es gibt sie, die sinnvollen Beispiele zur KI-Anwendung. Das Project Zero Team hat nun dargelegt, wie es im Projekt \"Big Sleep\" (als Nachfolger von \"Naptime\") ein Large Language Model (LLM) auf Software zur Schwachstellenanalyse los lie\u00df. Dabei wurde eine bisher unbekannte SQLite-Schwachstelle aufgedeckt, bevor diese in eine allgemein freigegebenen Version \u00fcbernommen wurde. Das zeigt das Potential von AI zur Schwachstellenanalyse w\u00e4hrend der Software-Entwicklung.<\/p>\n

<\/p>\n

\"\"Ich bin gestern \u00fcber nachfolgenden Tweet auf dieses Projekt \"Big Sleep\" und die Offenlegung der Schwachstelle im Artikel From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code<\/a> gesto\u00dfen.<\/p>\n

\"Google<\/a><\/p>\n

Das Projekt Naptime<\/h2>\n

Bei Google gab es bereits ein Projekt Naptime zur Bewertung der Sicherheitsf\u00e4higkeiten von gro\u00dfen Sprachmodellen (siehe Project Naptime: Evaluating Offensive Security Capabilities of Large Language Models<\/a>). Im Projekt wurde ein\u00a0<\/span>Framework f\u00fcr die Schwachstellenforschung mit Hilfe von LLMs entwickelt und dann am CyberSecEval2-Benchmarks von Meta getestet. Dadurch konnte das Framework und das LLM so verbessert werden, dass\u00a0Spitzenleistung bei der Analyse auf Schwachstellen erzielt wurden. Seitdem hat sich Naptime zu Big Sleep entwickelt, hei\u00dft es weiter. Big Sleep entstand aus einer Zusammenarbeit zwischen Google Project Zero und Google DeepMind.<\/p>\n

Big Sleep deckt SQLite-Schwachstelle auf<\/h2>\n

Das Project Zero Team feiert nur den ersten Erfolg der AI-gest\u00fctzten Analyse von Schwachstellen an einem Real-World-Beispiel. Big Sleep wurde auf die weit verbreitete Open-Source-Datenbank-Engine SQLite angesetzt, um diese auf Schwachstellen zu \u00fcberpr\u00fcfen.<\/p>\n

Dabei wurde die erste\u00a0reale Schwachstelle vom auf \u00a0Gemini 1.5 Pro basierenden Big Sleep-Agenten entdeckt. Es handelt sich um einen Stack-Buffer-Underflow in SQLite, der ausnutzbar gewesen w\u00e4re. Die entdeckte Schwachstelle wurde Anfang Oktober 2024 an die Entwickler gemeldet. Diese haben die Schwachstelle noch am selben Tag behoben. Diese Schwachstelle wurde wohl in einer Beta-Fassung von SQLite gefunden, so dass diese nie in einer offiziellen Version\u00a0 enthalten war. Daher sind SQLite-Benutzer von der aufgedeckten Schwachstelle nicht betroffen gewesen.<\/p>\n

Inspiriert wurde dieser Versuch dadurch, dass Anfang 2024 das Team Atlanta auf der DARPA AIxCC-Veranstaltung eine Null-Pointer-Dereferenz in SQLite entdeckte. Das Google Team nahm sich darauf hin SQLite in ihrem Framework vor und die AI entdeckte ebenfalls eine Schwachstelle.<\/p>\n

Das Team geht davon aus, dass\u00a0dies der erste erste \u00f6ffentlich gewordene Fall ist, bei dem es einem KI-Agenten gelungen ist, ein bisher unbekanntes, ausnutzbares\u00a0 Sicherheitsproblem im Speicher einer weit verbreiteten, realen Software zu finden. Das Team sieht ein gro\u00dfes Potential beim Aufsp\u00fcren von Schwachstellen in Software durch AI, bevor diese Software \u00fcberhaupt ver\u00f6ffentlicht wird. Das nimmt Angreifern die M\u00f6glichkeit, Schwachstellen in Produkten nachtr\u00e4glich zu entdecken. Details lassen sich im verlinkten Beitrag des Google-Teams nachlesen.<\/p>\n

Das Thema KI-gest\u00fctzte Code-Pr\u00fcfung scheint in der Luft zu liegen – im Nachgang bin ich auf diesen heise-Beitrag<\/a> gesto\u00dfen. Der Anbieter Tabnine hat eine KI-L\u00f6sung zum automatischen Code-Reviews vorgestellt.<\/p>\n","protected":false},"excerpt":{"rendered":"

[English]Es gibt sie, die sinnvollen Beispiele zur KI-Anwendung. Das Project Zero Team hat nun dargelegt, wie es im Projekt \"Big Sleep\" (als Nachfolger von \"Naptime\") ein Large Language Model (LLM) auf Software zur Schwachstellenanalyse los lie\u00df. Dabei wurde eine bisher … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[426,7459],"tags":[8382,4328,8505],"class_list":["post-305720","post","type-post","status-publish","format-standard","hentry","category-sicherheit","category-software","tag-ai","tag-sicherheit","tag-sqlite"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/305720","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=305720"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/305720\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=305720"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=305720"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=305720"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}