Navigace světem kybernetických hrozeb a posílení obrany v éře AI
Svět kybernetické bezpečnosti prochází v současnosti rozsáhlou proměnou. V čele této změny stojí umělá inteligence (AI), která představuje současně hrozbu i příležitost. Zatímco AI má potenciál umožnit organizacím porážet kybernetické útoky strojovou rychlostí a podpořit inovace a efektivitu při detekci a proaktivním vyhledávání hrozeb a při reakcích na incidenty, můžou nežádoucí osoby AI využívat jako součást svých útoků. Ještě nikdy nebylo tak důležité, abychom AI navrhovali, nasazovali a používali bezpečně.
Ve společnosti Microsoft zkoumáme potenciál AI k posílení našich opatření v oblasti zabezpečení, využití nových a pokročilých možností ochrany a vytváření lepšího softwaru. Díky AI se můžeme přizpůsobovat vyvíjejícím se hrozbám, okamžitě detekovat anomálie, rychle neutralizovat rizika a přizpůsobovat obranu potřebám organizace.
AI nám také může pomoct překonat další z největších výzev v oboru. Vzhledem k celosvětovému nedostatku pracovníků v oblasti kybernetické bezpečnosti, kdy jsou na celém světě potřeba zhruba 4 miliony odborníků na kybernetickou bezpečnost, má AI potenciál stát se klíčovým nástrojem k řešení problému s nedostatkem talentů a pomoct obráncům zvýšit produktivitu.
V jedné studii jsme už viděli, jak může služba Copilot pro Security pomáhat analytikům zabezpečení bez ohledu na úroveň jejich odbornosti – napříč všemi úkoly byli účastníci o 44 % přesnější a o 26 % rychlejší.
Při pohledu do budoucnosti musíme zajistit rovnováhu mezi bezpečnou přípravou na AI a využíváním jejích výhod, protože AI má moc pozvednout lidský potenciál a vyřešit některé z našich nejzávažnějších problémů.
Bezpečnější budoucnost s AI bude vyžadovat zásadní pokrok v softwarovém inženýrství. Bude vyžadovat, abychom porozuměli hrozbám založeným na AI a pracovali s nimi jako se základními součástmi jakékoli strategie zabezpečení. A musíme společně budovat hlubokou spolupráci a partnerství napříč veřejným i soukromým sektorem v boji proti škodlivým aktérům.
V rámci tohoto úsilí a naší vlastní iniciativy Secure Future Initiative nyní společnosti OpenAI a Microsoft Corporation publikují nové informace týkající se analýzy hrozeb, které podrobně popisují pokusy aktérů hrozeb testovat a zkoumat užitečnost modelů LLM (Large Language Model) v technikách útoků.
Doufáme, že tyto informace budou užitečné pro všechna odvětví, protože se všichni snažíme zajistit bezpečnější budoucnost. Protože nakonec jsme všichni obránci.
Bret Arsenault,
viceprezident společnosti, hlavní poradce pro kybernetickou bezpečnost
viceprezident společnosti, hlavní poradce pro kybernetickou bezpečnost
Podívejte se na digitální briefing Cyber Signals, ve kterém Vasu Jakkal, viceprezidentka pro Microsoft Security Business, hovoří s klíčovými experty na analýzu kybernetických hrozeb o kybernetických hrozbách ve věku AI, způsobech, jakými Microsoft využívá AI pro zlepšení zabezpečení, a o tom, co můžou organizace udělat pro posílení obrany.
Útočníci zkoumají technologie AI
Prostředí kybernetických hrozeb se stává stále větší výzvou, protože útočníci jsou motivovanější, sofistikovanější a mají lepší prostředky. Aktéři hrozeb i obránci se dívají na AI včetně modelů LLM, aby zvýšili svou produktivitu a využili dostupné platformy, které by mohly vyhovovat jejich cílům a technikám útoku.
Vzhledem k rychle se vyvíjejícímu prostředí hrozeb dnes oznamujeme zásady společnosti Microsoft, kterými se řídíme a které zmírňují riziko, kdy aktéři hrozeb, včetně pokročilých přetrvávajících hrozeb (APT), hrozeb APM (Advanced Persistent Manipulator) a kyberzločineckých syndikátů, používají platformy a rozhraní API pro AI. Mezi tyto zásady patří identifikování a zasahování proti využívání AI ze strany škodlivých aktérů hrozeb, informování ostatních poskytovatelů služeb AI, spolupráce s dalšími zúčastněnými stranami a transparentnost.
Ačkoli se motivy a sofistikovanost aktérů hrozeb liší, při nasazování útoků mají společné úkoly. Patří mezi ně zaprvé průzkum, například průzkum odvětví, lokalit a vztahů potenciálních obětí, psaní kódu včetně zdokonalování softwarových skriptů a vývoje malwaru, a zadruhé pomoc při učení a používání lidských i strojových jazyků.
Státní aktéři se snaží využívat AI
Ve spolupráci s OpenAI sdílíme informace analýzy hrozeb, které ukazují detekované nežádoucí aktéry spojené se státy, kteří používají modely LLM k rozšiřování svých kybernetických operací – sledujeme je jako skupiny Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon a Salmon Typhoon.
Cílem partnerství Microsoftu a OpenAI v oblasti výzkumu je zajistit bezpečné a zodpovědné používání technologií AI, jako je ChatGPT, a prosazování nejvyšších standardů etického používání, aby byla komunita chráněna před možným zneužitím.
Skupina Forest Blizzard (STRONTIUM), vysoce efektivní ruský vojenský aktér hrozeb napojený na hlavní ředitelství generálního štábu ruské armády neboli jednotku GRU 26165, cílí na oběti taktického a strategického zájmu ruské vlády. Její aktivity zahrnují řadu odvětví včetně obrany, dopravy a logistiky, státní správy, energetiky, nevládních organizací a informačních technologií.
Emerald Sleet (Velvet Chollima) je severokorejský aktér hrozeb, který se podle zjištění Microsoftu vydává za renomované akademické instituce a nevládní organizace a snaží se od obětí vylákat odpovědi s odbornými poznatky a komentáři o zahraniční politice týkající se Severní Koreje.
Skupina Emerald Sleet využívá modely LLM při průzkumu think tanků a expertů na Severní Koreu a k vytváření obsahu, který by mohl být použit v kampaních cíleného phishingu. Skupina Emerald Sleet také využívá modely LLM k získávání informací o veřejně známých ohroženích zabezpečení, při řešení technických problémů a k získávání pomoci s používáním různých webových technologií.
Crimson Sandstorm (CURIUM) je íránský aktér hrozeb, který je pravděpodobně napojen na Islámské revoluční gardy (IRGC). Používání modelů LLM zahrnovalo žádosti ohledně podpory v oblasti sociálního inženýrství, pomoci při řešení chyb, vývoje pro platformu .NET a způsobů, jakými se útočník může vyhnout detekci na napadeném počítači.
Skupina Charcoal Typhoon (CHROMIUM) je aktér hrozeb spojený s Čínou, který se zaměřuje převážně na sledování skupin v Tchaj-wanu, Thajsku, Mongolsku, Malajsii, Francii a Nepálu a jednotlivců po celém světě vystupujících proti politice Číny. Při nedávných operacích skupiny Charcoal Typhoon bylo pozorováno zapojení modelů LLM do výzkumu s cílem získat poznatky o konkrétních technologiích, platformách a ohroženích zabezpečení, což svědčí o předběžných fázích shromažďování informací.
Další skupina podporovaná Čínou, Salmon Typhoon, vyhodnocovala v průběhu roku 2023 efektivitu využívání modelů LLM k získávání informací o potenciálně citlivých tématech, vysoce postavených osobách, regionální geopolitice, vlivu USA a vnitřních záležitostech. Tyto pokusy o zapojení modelů LLM by mohly indikovat jak snahu o rozšiřování sady nástrojů pro shromažďování informací, tak i experimentální fázi při posuzování schopností nových technologií.
Náš výzkum s OpenAI nezjistil žádné významné útoky, které by využívaly modely LLM, které podrobně sledujeme.
Přijali jsme opatření, abychom narušili prostředky a účty spojené s těmito aktéry hrozeb a vytvořili ochranné a bezpečnostní mechanismy kolem našich modelů.
Další objevující se hrozby související s AI
Další zásadní obavou jsou podvody založené na AI. Příkladem je syntéza hlasu, kdy třísekundový vzorek hlasu dokáže natrénovat model tak, aby mluvil jako kdokoli. K získání dostatečného vzorku lze použít i tak neškodnou věc, jako je pozdrav v hlasové schránce.
Velká část naší vzájemné komunikace a obchodních aktivit se spoléhá na prokazování identity, například na rozpoznání hlasu, tváře, e-mailové adresy nebo stylu psaní určité osoby.
Je velmi důležité pochopit, jak škodliví aktéři využívají AI k narušování dlouhodobě používaných systémů prokazování identity, abychom si dokázali poradit s komplexními případy podvodů a dalšími nově vznikajícími hrozbami využívajícími sociální inženýrství, které zamlžují totožnost.
AI lze také využívat k tomu, aby společnostem pomáhala přerušovat pokusy o podvody. Přestože Microsoft přerušil spolupráci s jednou brazilskou společností, naše systémy AI zjistily její pokusy o obnovení a opětovný vstup do našeho ekosystému.
Tato skupina se neustále pokoušela zastírat své údaje, skrývat vlastnickou strukturu a znovu se dostat do systému, ale naše detekce využívající AI použila desítku signálů rizik, aby tuto podvodnou společnost označila a spojila ji s dříve rozpoznaným podezřelým chováním – a její pokusy pak zablokovala.
Microsoft se zavázal k používání odpovědné AI vedené lidmi , která obsahuje ochranu soukromí a zabezpečení pod dohledem lidí, kteří vyhodnocují odvolání a interpretují zásady a předpisy.
Vzdělávejte zaměstnance a veřejnost o kybernetických rizicích:
- Používejte zásady podmíněného přístupu: Tyto zásady poskytují jasné pokyny k posílení stavu zabezpečení, které automaticky chrání tenanty na základě signálů rizik, licencí a způsobu používání. Zásady podmíněného přístupu jsou přizpůsobitelné a je možné je adaptovat na měnící se prostředí kybernetických hrozeb.
- Školte a přeškolujte zaměstnance na taktiky sociálního inženýrství: Vzdělávejte zaměstnance a veřejnost v tom, jak mají rozpoznávat a reagovat na phishingové e-maily, vishing (hlasová pošta), smishing (SMS/textové zprávy) a útoky využívající sociální inženýrství a uplatňovat osvědčené postupy zabezpečení pro Microsoft Teams.
- Důsledně chraňte data: Zajistěte, aby data zůstávala soukromá a kontrolovaná od začátku do konce.
- Využívejte nástroje zabezpečení využívající generativní AI: Nástroje, jako je Microsoft Copilot pro Security, můžou rozšířit schopnosti zabezpečení a zlepšit stav zabezpečení organizace.
- Povolte vícefaktorové ověřování: Povolte vícefaktorové ověřování pro všechny uživatele, zejména pro funkce správců, protože snižuje riziko převzetí účtu o více než 99 %.
Obrana před útoky
Microsoft si udržuje náskok díky komplexnímu zabezpečení ve spojení s generativní AI
Microsoft detekuje obrovské množství škodlivého provozu – více než 65 bilionů signálů kybernetické bezpečnosti denně. AI zvyšuje naši schopnost tyto informace analyzovat a zajistit, aby byly zachyceny ty nejcennější poznatky, které můžou pomoct zastavit hrozby. Tuto analýzu signálů využíváme také jak zdroj pro generativní AI k zajištění pokročilé ochrany před hrozbami, zabezpečení dat, zabezpečení identit, abychom pomáhali obráncům zachytit to, co ostatní nezachytí.
Microsoft používá ke své ochraně i k ochraně svých zákazníků před kybernetickými hrozbami několik metod včetně detekce hrozeb využívající AI, která odhaluje změny ve způsobu využívání zdrojů nebo provozu v síti, behaviorální analýzy k detekci rizikových přihlášení a nezvyklého chování. Využívá také modely strojového učení k detekci rizikových přihlášení a malwaru, modely nulové důvěry (Zero Trust), kdy každá žádost o přístup musí být plně ověřena, autorizována a zašifrována, a ověřování stavu zařízení předtím, než se zařízení může připojit k podnikové síti.
Protože aktéři hrozeb chápou, že Microsoft ke své ochraně důsledně používá vícefaktorové ověřování – všichni naši zaměstnanci mají nastavené vícefaktorové ověřování nebo bezheslovou ochranu – jsme svědky toho, jak se útočníci ve snaze napadnout naše zaměstnance přiklánějí k sociálnímu inženýrství.
Mezi nejzajímavější místa pro tyto aktivity patří oblasti, kde se poskytují hodnotné věci, jako jsou bezplatné zkušební verze nebo propagační ceny služeb či produktů. V těchto oblastech se útočníkům nevyplatí krást jednotlivá předplatná a snaží se proto tyto útoky operacionalizovat a rozšiřovat tak, aby nebyly detekovány.
Pro Microsoft a naše zákazníky samozřejmě vytváříme modely AI, které tyto útoky rozpoznávají. Detekujeme falešné studentské a školní účty, falešné společnosti nebo organizace, které změnily své firmografické údaje nebo skryly svou skutečnou identitu, aby se vyhnuly sankcím, obešly kontrolní mechanismy nebo skryly přečiny z minulosti, jako jsou odsouzení za korupci, pokusy o krádeže atd.
Používání služeb GitHub Copilot, Microsoft Copilot pro Security a dalších funkcí chatu služby Copilot integrovaných do naší interní technické a provozní infrastruktury pomáhá předcházet incidentům, které by mohly mít dopad na provoz.
Při řešení e-mailových hrozeb Microsoft vylepšuje funkce, které kromě skladby e-mailu zachycují další signály a umožňují zjistit, jestli je e-mail škodlivý. S AI v rukou aktérů hrozeb se spustila vlna dokonale napsaných e-mailů bez zjevných jazykových a gramatických chyb, které často odhalovaly pokusy o phishing, což znesnadňuje jejich rozpoznávání.
V boji proti sociálnímu inženýrství, které je jedinou pákou stoprocentně závislou na lidských chybách, je třeba pokračovat ve vzdělávání zaměstnanců a osvětových kampaních. Historie nás naučila, že účinné osvětové kampaně vedou ke změně chování.
Microsoft předpokládá, že s využitím AI se budou rozvíjet taktiky sociálního inženýrství a vznikat sofistikovanější útoky včetně deepfake obsahu a klonování hlasů, zejména pokud útočníci zjistí, že technologie AI jsou provozovány bez odpovědných postupů a integrovaných kontrolních mechanismů.
Klíčem k boji proti všem kybernetickým hrozbám, tradičním i těm využívajícím AI, je prevence.
Doporučení:
Používejte kontrolní mechanismy AI u dodavatelů a průběžně vyhodnocujte jejich způsobilost: U každé technologie AI zaváděné do vašeho podniku se zaměřte na integrované funkce dodavatelů, které umožňují rozšířit přístup k AI zaměstnancům a týmům a požívat tuto technologii k zajištění přijetí zabezpečené AI dodržující předpisy. Sezvěte zainteresované strany v oblasti kybernetických rizik v rámci celé organizace, aby se shodly na definovaných případech používání AI zaměstnanci a na řízení přístupu k AI. Lídři v oblasti rizik a ředitelé CISO by měli pravidelně zjišťovat, jestli jsou případy použití a zásady adekvátní, nebo jestli se musí změnit v závislosti na vývoji cílů a poznatků.
Chraňte se před injektáží výzev: Implementujte přísné ověřování a sanitizaci vstupů u výzev zadávaných uživateli. Používejte kontextové filtrování a kódování výstupů, abyste zabránili manipulaci s výzvami. Pravidelně aktualizujte a dolaďujte modely LLM s cílem zlepšit to, jak rozumí škodlivým vstupům a hraničním případům. Monitorujte a protokolujte interakce modelů LLM za účelem detekce a analýzy potenciálních pokusů o injektáže výzev.
Zaveďte transparentnost v celém dodavatelském řetězci AI: Prostřednictvím jasných a otevřených postupů vyhodnocujte všechny oblasti, kde může AI přijít do styku s daty vaší organizace, a to i prostřednictvím partnerů a dodavatelů (třetích stran). Využívejte partnerské vztahy a týmy pro kybernetická rizika zahrnující členy s různými funkcemi ke zkoumání poznatků a odstraňování případných nedostatků. Udržování současných programů nulové důvěry (Zero Trust) a řízení dat je v éře AI důležitější než kdykoli dříve.
Soustřeďte se na komunikaci: Lídři v oblasti kybernetických rizik si musí uvědomit, že zaměstnanci jsou svědky dopadu a přínosů AI ve svém osobním životě a budou přirozeně chtít zkoumat možnosti používání podobných technologií v hybridním pracovním prostředí. Ředitelé CISO a další lídři spravující kybernetická rizika můžou proaktivně sdílet a zesilovat zásady organizace týkající se používání a rizik AI, včetně toho, které určené nástroje využívající AI jsou pro podnik schváleny, a kontaktů pro přístup a informace. Proaktivní komunikace pomáhá udržovat informovanost a zapojení zaměstnanců a snižuje riziko, že se neřízená umělá inteligence (AI) dostane do kontaktu s podnikovými IT prostředky.
Další informace o AI vám poskytne Homa Hayatafar, hlavní manažerka pro data a aplikovanou vědu a manažerka pro analýzu detekce.
Tradiční nástroje už nedokážou držet krok s hrozbami, které představují kyberzločinci. Rostoucí rychlost, rozsah a sofistikovanost kybernetických útoků z poslední doby vyžadují nový přístup k zabezpečení. Vzhledem k nedostatku pracovníků v oblasti kybernetické bezpečnosti a s rostoucí četností a závažností kybernetických hrozeb je překlenutí této mezery v dovednostech naléhavou potřebou.
AI může přenést výhodu na stranu obránců. Nedávná studie služby Microsoft Copilot pro Security (v současnosti ve fázi zákaznického testování verze Preview) ukázala zvýšení rychlosti a přesnosti analytiků zabezpečení bez ohledu na úroveň jejich odbornosti při běžných úkolech, jako je identifikace skriptů používaných útočníky, vytváření zpráv o incidentech a určování vhodných kroků k nápravě..1
- [1]
Metodologie:1 Uvedená data představují randomizovanou kontrolovanou zkoušku (RCT), ve které jsme testovali 149 osob s cílem změřit dopad používání služby Microsoft Copilot pro Security na produktivitu. V této zkoušce RCT jsme některým analytikům náhodně poskytli službu Copilot a jiným ne, a pak jsme odečetli jejich výkonnost a mínění, abychom zjistili účinek služby Copilot odděleně od jakéhokoli základního účinku. Testované osoby měly základní IT dovednosti, ale byly nováčky v oblasti zabezpečení, takže jsme mohli otestovat, jak Copilot pomáhá „začínajícím“ analytikům. Zkoušku RCT služby Microsoft Copilot pro Security provedlo oddělení „Microsoft Office of the Chief Economist“ v listopadu 2023. Služba Microsoft Entra ID navíc poskytla anonymizovaná data o aktivitách hrozeb, jako jsou škodlivé e-mailové účty, phishingové e-maily a pohyb útočníků v sítích. Další poznatky pocházejí z 65 bilionů denních signálů zabezpečení získaných napříč Microsoftem, včetně cloudu, koncových bodů, inteligentního hraničního zařízení, našeho týmu expertů pro řešení ohrožení zabezpečení a reagujících týmů, telemetrie z platforem a služeb společnosti Microsoft zahrnující Microsoft Defender a Microsoft Digital Defense Report 2023.