Poruszanie się po świecie cyberzagrożeń i wzmacnianie obrony w erze sztucznej inteligencji
Świat cyberbezpieczeństwa przechodzi obecnie ogromną transformację. Sztuczna inteligencja (AI) jest na czele tej zmiany, stwarzając zarówno zagrożenie, jak i nowe szanse. Sztuczna inteligencja ma potencjał do zwiększania możliwości organizacji w zakresie zwalczania cyberataków z maszynową prędkością oraz wzmacniania innowacyjności i skuteczności w wykrywaniu i wyszukiwaniu zagrożeń oraz reagowaniu na zdarzenia, jednak przeciwnicy mogą ją stosować w ramach wykorzystywania luk. Nigdy dotąd bezpieczne projektowanie, wdrażanie i stosowanie sztucznej inteligencji nie miało tak krytycznego znaczenia.
W firmie Microsoft eksplorujemy potencjał sztucznej inteligencji w celu wzbogacenia naszych środków bezpieczeństwa, odblokowywania nowych i zaawansowanych metod ochrony oraz tworzenia lepszego oprogramowania. Dzięki sztucznej inteligencji mamy możliwości adaptowania się wraz z ewoluującymi zagrożeniami, natychmiastowego wykrywania anomalii, płynnego neutralizowania zagrożeń oraz dopasowywania ochrony do potrzeb organizacji.
Sztuczna inteligencja może także pomóc nam przezwyciężać inne z największych wyzwań branży. W obliczu globalnego braku pracowników ds. cyberbezpieczeństwa, gdy na całym świecie potrzeba około 4 milionów specjalistów ds. cyberbezpieczeństwa, sztuczna inteligencja ma potencjał zostania decydującym narzędziem do rozwiązania problemu niedoborów talentów i ułatwienia obrońcom utrzymania większej produktywności.
Zaobserwowaliśmy już w jednym badaniu jak funkcja Copilot dla rozwiązań zabezpieczających może wspomagać analityków ds. bezpieczeństwa, niezależnie od ich poziomu doświadczenia — we wszystkich zadaniach. Uczestnicy działali o 44% dokładniej i 26% szybciej.
Gdy chcemy zabezpieczyć przyszłość, musimy zapewnić równoważenie bezpiecznego przygotowania na sztuczną inteligencję z wykorzystaniem jej zalet, ponieważ sztuczna inteligencja ma moc zwiększania ludzkiego potencjału oraz rozwiązywania niektórych z naszych najpoważniejszych wyzwań.
Bezpieczniejsza przyszłość ze sztuczną inteligencją będzie wymagać poczynienia fundamentalnych postępów w inżynierii oprogramowania. Będzie wymagać zrozumienia zagrożeń związanych ze sztuczną inteligencją i przeciwdziałania im, jako podstawowych składników każdej strategii zabezpieczeń. Musimy też ze sobą współpracować, aby zbudować głęboką współpracę i partnerstwo w sektorach publicznych i prywatnych w celu zwalczania źródeł zagrożenia.
W ramach tych dążeń oraz naszej własnej inicjatywy Bezpieczna przyszłość firmy OpenAI i Microsoft publikują dziś nowe analizy z wyszczególnieniem prób podejmowanych przez źródła zagrożenia w zakresie testowania i odkrywania przydatności dużych modeli językowych (LLM) w technikach ataku.
Mamy nadzieję, że te informacje okażą się przydatne dla różnych branż, ponieważ wszyscy razem działamy na rzecz bezpieczniejszej przyszłości. W ostatecznym rozrachunku wszyscy jesteśmy obrońcami.
wiceprezes, główny doradca ds. cyberbezpieczeństwa
Obejrzyj cyfrowe podsumowanie Cyber Signals, w którym Vasu Jakkal, wiceprezes rozwiązań zabezpieczających firmy Microsoft dla firm, przeprowadza wywiady z najważniejszymi ekspertami od analizy zagrożeń na temat cyberzagrożeń w erze sztucznej inteligencji, sposobów, w jakie firma Microsoft używa sztucznej inteligencji do poprawiania zabezpieczeń oraz tego, co organizacje mogą zrobić, aby pomóc wzmacniać ochronę.
Atakujący eksplorują technologie sztucznej inteligencji
Krajobraz cyberzagrożeń staje się coraz bardziej wyzywający wraz z tym jak atakujący stają się coraz bardziej zmotywowani, wyrafinowani i dysponują lepszymi zasobami. Źródła zagrożenia, tak samo jak obrońcy, zwracają się ku sztucznej inteligencji, w tym modelom LLM, aby zwiększyć swoją produktywność i wykorzystać dostępne platformy, które mogłyby pasować do ich obiektów i technik ataku.
Biorąc pod uwagę gwałtownie ewoluujący krajobraz zagrożeń, dzisiaj ogłaszamy zasady firmy Microsoft kierujące jej działaniami na rzecz korygowania ryzyka ze strony źródeł zagrożenia, w tym zaawansowanych stałych zagrożeń (APT), zaawansowanej stałej manipulacji (APM) oraz syndykatów cyberprzestępców przy użyciu interfejsów API i platform sztucznej inteligencji. Te zasady obejmują identyfikowanie używania przez złośliwe źródła zagrożenia sztucznej inteligencji i przeciwdziałanie temu, powiadamianie innych dostawców usług sztucznej inteligencji, współpraca z innymi zainteresowanymi stronami oraz transparentność.
Motywy i wyrafinowanie źródeł zagrożenia są różne, jednak mają pewne wspólne zadania podczas przeprowadzania ataków. Obejmują one rozeznanie, takie jak badanie branż, lokalizacji i relacji potencjalnych ofiar; kodowanie, w tym ulepszanie skryptów oprogramowania oraz tworzenia złośliwego oprogramowania; a także asystę przy uczeniu i używaniu języka zarówno ludzkiego, jak i maszynowego.
We współpracy z firmą OpenAI udostępniamy analizę zagrożeń przedstawiającą wykrytych wrogów powiązanych z państwami — śledzonych jako Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon oraz Salmon Typhoon — używających modeli LLM do wzmacniania operacji cybernetycznych.
Celem partnerstwa badawczego Microsoft z OpenAI jest zapewnienie bezpiecznego i odpowiedzialnego używania technologii sztucznej inteligencji, takich jak ChatGPT, z zachowaniem najwyższych standardów etycznego stosowania, aby chronić społeczność przed potencjalnym niewłaściwym użyciem.
Wykorzystanie modeli LLM przez Emerald Sleet obejmowało badanie think-tanków i ekspertów ds. Korei Północnej, a także generowanie zawartości, która najprawdopodobniej zostanie użyta w kampaniach spersonalizowanego wyłudzania informacji. Grupa Emerald Sleet wchodziła także w interakcje z modelami LLM, aby zrozumieć publicznie znane luki w zabezpieczeniach, rozwiązywać problemy techniczne oraz uzyskiwać pomoc przy korzystaniu z różnych technologii internetowych.
Kolejna grupa wspierana przez Chiny, Salmon Typhoon, oceniała skuteczność używania modeli LLM na przestrzeni całego roku 2023 w pozyskiwaniu informacji o potencjalnie poufnych tematach, wysoko postawionych osobach, regionalnej geopolityce, wpływie Stanów Zjednoczonych oraz sprawach wewnętrznych. To tymczasowe zainteresowanie modelami LLM mogłoby odzwierciedlać zarówno poszerzenie jej zestawu narzędzi do zbierania analiz, jak i etap eksperymentalny w ocenianiu możliwości pojawiających się technologii.
Podjęliśmy działania w celu zwalczania zasobów i kont powiązanych z tymi źródłami zagrożenia oraz ukształtowania mechanizmów kontroli i bezpieczeństwa dla naszych modeli.
Oszustwo obsługiwane przez sztuczną inteligencję to kolejny krytyczny problem. Przykładem tego jest synteza głosu, w której trzysekundowa próbka głosu może tak wytrenować model, aby brzmiał jak dowolna osoba. Nawet coś równie nieszkodliwego jak pozdrowienie poczty głosowej może zostać użyte jako wystarczająca próbka.
Duża część naszych wzajemnych interakcji i prowadzenia działalności polega na udowadnianiu tożsamości, takim jak rozpoznawanie głosu, twarzy, adresu e-mail lub stylu pisania danej osoby.
Zrozumienie tego, jak złośliwe źródła zagrożenia używają sztucznej inteligencji do podważania wieloletnich systemów udowadniania tożsamości, jest kluczowe, aby móc zajmować się złożonymi przypadkami oszustwa i innymi pojawiającymi się zagrożeniami ze strony inżynierii społecznej, które zaciemniają tożsamości.
Sztuczna inteligencja może być także używana do pomagania firmom w zwalczaniu prób oszustwa. Firma Microsoft zaprzestała współpracy z firmą w Brazylii, jednak nasze systemy sztucznej inteligencji wykryły, że próbowała ona przywrócić siebie w celu ponownego wejścia do naszego ekosystemu.
Grupa stale usiłowała zaciemniać informacje o sobie, ukrywać główne źródła własności oraz dokonywać ponownego wejścia, ale nasze wykrycia sztucznej inteligencji na podstawie niemal tuzina sygnałów o ryzyku oflagowały oszukańczą firmę i skojarzyły ją z poprzednio rozpoznanym podejrzanym zachowaniem, co spowodowało zablokowanie tych prób.
Firma Microsoft dąży do zapewnienia odpowiedzialnej kierowanej przez człowieka sztucznej inteligencji zapewniającej prywatność i bezpieczeństwo, gdzie człowiek zajmuje się nadzorowaniem, ocenia wnioski oraz interpretuje zasady i regulacje.
- Używaj zasad dostępu warunkowego. Te zasady zapewniają wyraźne wskazówki do samodzielnego wdrożenia dotyczące wzmacniania stanu zabezpieczeń, co spowoduje automatyczne chronienie dzierżaw na podstawie sygnałów o ryzyku, licencjonowania i wykorzystania. Zasady dostępu warunkowego można dostosować i będą one przystosowywać się do zmieniającego się krajobrazu cyberzagrożeń.
- Przeszkalaj i przeszkalaj ponownie pracowników w zakresie taktyki inżynierii społecznej. Edukuj pracowników i opinię publiczną w zakresie rozpoznawania ataków z użyciem wiadomości e-mail służących do wyłudzania informacji, wyłudzania informacji przez telefon (poczta głosowa), wyłudzania informacji przez SMS (wiadomości SMS/tekstowe) i inżynierii społecznej oraz reagowania na nie, a także stosowania najlepszych rozwiązań dotyczących zabezpieczeń dla usługi Microsoft Teams.
- Rygorystycznie chroń dane. Zapewnij utrzymanie prywatności danych i ich kompleksowego kontrolowania.
- Wykorzystaj narzędzia zabezpieczeń generatywnej AI. Narzędzia, takie jak Copilot rozwiązań zabezpieczających firmy Microsoft, mogą zwiększyć możliwości stanu zabezpieczeń organizacji i poprawić go.
- Włącz uwierzytelnianie wieloskładnikowe. Włącz uwierzytelnianie wieloskładnikowe dla wszystkich użytkowników, zwłaszcza dla funkcji administratora, ponieważ ogranicza to ryzyko przejęcia konta o ponad 99%.
Obrona przed atakami
Firma Microsoft wykrywa ogromną ilość złośliwego ruchu — ponad 65 bilionów sygnałów o cyberbezpieczeństwie na dzień. Sztuczna inteligencja zwiększa nasze możliwości analizowania tych informacji i zapewnia uwzględnienie najcenniejszych wniosków w celu ułatwienia powstrzymywania zagrożeń. Używamy także tej analizy sygnałów do dostarczania wniosków generatywnej AI na potrzeby zaawansowanej ochrony przed zagrożeniami, zabezpieczeń danych i zabezpieczeń tożsamości w celu ułatwienia obrońcom wyłapania tego, co przeoczyli inni.
Firma Microsoft używa kilku metod ochrony siebie i swoich klientów przed cyberzagrożeniami, w tym wykrywania zagrożeń obsługiwanego przez sztuczną inteligencję w celu śledzenia zmian w sposobie użycia zasobów lub ruchu w sieci; analizy behawioralnej do wykrywania ryzykownych logowań i nietypowego zachowania; modeli uczenia maszynowego (ML) do wykrywania ryzykownych logowań i złośliwego oprogramowania; modeli Zero Trust, w których każde żądanie dostępu musi być w pełni uwierzytelnione, autoryzowane i zaszyfrowane; oraz weryfikacji kondycji urządzenia zanim będzie można połączyć urządzenie z siecią firmową.
Źródła zagrożenia rozumieją, że firma Microsoft rygorystycznie używa uwierzytelniania wieloskładnikowego (MFA) do bronienia siebie — dla wszystkich naszych pracowników jest skonfigurowane uwierzytelnianie wieloskładnikowe lub ochrona bezhasłowa — dlatego zaobserwowaliśmy, że atakujący skłaniają się ku inżynierii społecznej, gdy próbują naruszyć zabezpieczenia naszych pracowników.
Główne miejsca do tego obejmują obszary, w których są przekazywane wartościowe przedmioty, takie jak bezpłatne wersje próbne lub promocyjna cena usług bądź produktów. W tych obszarach dla atakujących nie jest zyskowna kradzież jednej subskrypcji pojedynczo, więc próbują operacjonalizować i skalować te ataki przy unikaniu wykrycia.
Oczywiście tworzymy modele sztucznej inteligencji do wykrywania tych ataków dla firmy Microsoft i jej klientów. Wykrywamy fałszywe konta uczniów i szkół, fałszywe firmy lub organizacje, które zmieniły swoje dane firmograficzne lub utajniły swoje prawdziwe tożsamości w celu uniknięcia sankcji, obejścia mechanizmów kontroli lub ukrycia wykroczeń kryminalnych w przeszłości, takich jak wyroki za korupcję, usiłowania kradzieży itp.
Użycie funkcji GitHub Copilot, Copilot rozwiązań zabezpieczających firmy Microsoft oraz innych funkcji czatu Copilot zintegrowanych z naszą wewnętrzną infrastrukturą inżynieryjną i operacyjną, pomaga zapobiegać zdarzeniom, które mogłyby wpłynąć na działania operacyjne.
Aby zwalczać zagrożenia dla poczty e-mail, firma Microsoft ulepsza funkcje zbierania sygnałów równolegle do redagowania wiadomości e-mail w celu zrozumienia, czy są one złośliwe. Sztuczna inteligencja w rękach źródeł zagrożenia spowodowała wysyp perfekcyjnie napisanych wiadomości e-mail, w których poprawiono oczywiste błędy językowe i gramatyczne często demaskujące próby wyłudzania informacji, przez co wykrywanie takich prób stało się trudniejsze.
Do zwalczania inżynierii społecznej, stanowiącej jedyny element uzależniony w 100% od błędu człowieka, wymagane jest ciągłe edukowanie pracowników i prowadzenie kampanii informacyjnych. Historia nauczyła nas, że skuteczne kampanie informacyjne działają w celu zmiany zachowań.
Firma Microsoft oczekuje, że sztuczna inteligencja spowoduje ewolucję taktyk inżynierii społecznej i tworzenie bardziej zaawansowanych ataków obejmujących oszustwa typu deepfake oraz z użyciem klonowania głosu, zwłaszcza jeśli atakujący znajdą technologie sztucznej inteligencji działające bez odpowiedzialnych praktyk i wbudowanych mechanizmów kontroli bezpieczeństwa.
Ochrona jest kluczem do zwalczania wszystkich cyberzagrożeń, zarówno tradycyjnych, jak i obsługiwanych przez sztuczną inteligencję.
Rekomendacje:
Więcej szczegółowych informacji dotyczących sztucznej inteligencji udostępnia Homa Hayatafar, główny kierownik ds. danych i nauk stosowanych, kierownik analizy wykrywania.
Tradycyjne narzędzia nie dotrzymują już kroku zagrożeniom stwarzanym przez cyberprzestępców. Rosnąca szybkość, skala i wyrafinowanie ostatnich cyberataków wymagają nowego podejścia do bezpieczeństwa. Ponadto, uwzględniając brak pracowników w dziedzinie cyberbezpieczeństwa oraz wzrost częstotliwości i powagi cyberzagrożeń, rozwiązanie tego problemu w kwestii umiejętności jest wyjątkowo pilne.
Sztuczna inteligencja może przechylić szalę na stronę obrońców. Jedno z niedawnych badań funkcji Copilot dla rozwiązań zabezpieczających firmy Microsoft (obecnie w trakcie testowania wersji zapoznawczej dla klienta) wykazało zwiększoną szybkość i dokładność działania analityków ds. zabezpieczeń, niezależnie od ich poziomu doświadczenia, w przypadku różnych zadań, takich jak identyfikowanie skryptów używanych przez atakujących, tworzenie raportów dotyczących zdarzeń oraz identyfikowanie odpowiednich kroków korygowania.1
- O 44 procent większa dokładność we wszystkich zadaniach wśród użytkowników funkcji Copilot dla rozwiązań zabezpieczających firmy Microsoft1
- O 26 procent większa szybkość we wszystkich zadaniach wykonywanych przez użytkowników funkcji Copilot dla rozwiązań zabezpieczających firmy Microsoft1
- 90 procent użytkowników stwierdziło, że chce korzystać z funkcji Copilot podczas wykonywania tego samego zadania następnym razem1
- [1]
Metodologia:1 Dane migawki odzwierciedlają randomizowane badanie kontrolowane (RCT), w którym przetestowano 149 osób w celu zmierzenia wpływu używania funkcji Copilot dla rozwiązań zabezpieczających firmy Microsoft na produktywność. W tym badaniu RCT losowo udostępniono funkcję Copilot niektórym analitykom, ale nie pozostałym, a następnie wyodrębniono ich produktywność i opinie, aby poznać wpływ funkcji Copilot bez jakiegokolwiek efektu bazy. Testowane osoby miały podstawowe umiejętności informatyczne, ale były nowicjuszami w zakresie zabezpieczeń, więc mogliśmy przetestować, jak funkcja Copilot wspomaga „początkujących” analityków. Badanie RCT funkcji Copilot dla rozwiązań zabezpieczających firmy Microsoft zostało przeprowadzone przez Biuro głównego ekonomisty firmy Microsoft w listopadzie 2023 r. Ponadto rozwiązanie Tożsamość Microsoft Entra dostarczyło anonimowych danych na temat aktywności zagrożeń, takich jak złośliwe konta e-mail, wiadomości wyłudzające informacje i ruchy przestępców w obrębie sieci. Dodatkowe wnioski wyciągnięto z 65 bilionów codziennych sygnałów dotyczących zabezpieczeń zebranych w całej firmie Microsoft, obejmujących chmurę, punkty końcowe, inteligentne urządzenia brzegowe, nasze zespoły ekspertów ds. naruszeń bezpieczeństwa oraz wykrywania zagrożeń i reagowania na nie, telemetrię od platform i usług firmy Microsoft obejmująca platformę Microsoft Defender oraz raport firmy Microsoft na temat ochrony zasobów cyfrowych z roku 2023.