Yapay Zeka, Son Bir Testte İnsanlardan Daha İyi Kimlik Avı E-postaları Yazdı
Araştırmacılar, OpenAI’nin GPT-3’ü gibi araçların, şeytani derecede etkili spearphishing mesajlarının oluşturulmasına yardımcı olduğunu buldu.
DOĞAL DIL IŞLEMEbeklenmedik virajlarda yolunu bulmaya devam ediyor . Bu sefer, kimlik avı e-postaları . Küçük bir çalışmada, araştırmacılar, derin öğrenme dil modeli GPT-3’ü, diğer hizmet olarak AI platformlarıyla birlikte, büyük çapta spearphishing kampanyaları hazırlamak için giriş engelini önemli ölçüde azaltmak için kullanabileceklerini buldular.
Araştırmacılar, dolandırıcıların daha sonra zorlayıcı kimlik avı mesajları üretebilecek makine öğrenimi algoritmaları eğitmesinin çabaya değip değmeyeceğini uzun süredir tartışıyorlar. Sonuçta, toplu kimlik avı mesajları basit ve formüle dayalıdır ve zaten oldukça etkilidir. Yüksek düzeyde hedeflenmiş ve uyarlanmış “spearphishing” mesajlarının oluşturulması daha fazla emek gerektirir. NLP’nin şaşırtıcı derecede kullanışlı olabileceği yer burasıdır.
Bu hafta Las Vegas’taki Black Hat ve Defcon güvenlik konferanslarında, Singapur Devlet Teknoloji Ajansı’ndan bir ekip, kendilerinin ve bir hizmet olarak AI platformu tarafından oluşturulan diğerlerinin hedeflenen kimlik avı e-postalarını 200’e gönderdikleri yakın tarihli bir deneyi sundu. meslektaşlarından. Her iki mesaj da aslında kötü amaçlı olmayan, ancak tıklama oranlarını araştırmacılara geri bildiren bağlantılar içeriyordu. Yapay zeka tarafından oluşturulan mesajlardaki bağlantıları, insan tarafından yazılanlardan çok daha fazla insanın tıkladığını görünce şaşırdılar – önemli bir farkla.
“Araştırmacılar, AI’nın bir miktar uzmanlık gerektirdiğine dikkat çekti. Devlet Teknoloji Ajansı siber güvenlik uzmanı Eugene Lim, gerçekten iyi bir modeli eğitmek için milyonlarca dolar gerektiğini söylüyor. “Ama bir kez onu bir hizmet olarak AI’ya koyduğunuzda, birkaç kuruşa mal oluyor ve kullanımı gerçekten çok kolay – sadece metin girişi, metin çıkışı. Kodu çalıştırmanıza bile gerek yok, sadece bir komut verin ve size çıktı verecektir. Bu, çok daha büyük bir kitleye giriş engelini azaltır ve zıpkınla kimlik avı için potansiyel hedefleri artırır. Birdenbire, toplu ölçekte her bir e-posta, her alıcı için kişiselleştirilebilir.”
Araştırmacılar, OpenAI’nin GPT-3 platformunu, meslektaşlarının geçmişlerine ve özelliklerine göre uyarlanmış kimlik avı e-postaları oluşturmak için kişilik analizine odaklanan diğer bir hizmet olarak AI ürünleriyle birlikte kullandılar. Kişilik analizine odaklanan makine öğrenimi, davranışsal girdilere dayalı olarak bir kişinin eğilimlerini ve zihniyetini tahmin etmeyi amaçlar. Çıktıları birden fazla hizmet aracılığıyla çalıştıran araştırmacılar, e-postaları göndermeden önce düzelten ve iyileştiren bir işlem hattı geliştirebildiler. Sonuçların kulağa “garip bir şekilde insani” geldiğini ve platformların, Singapur’da yaşayan insanlar için içerik oluşturma talimatı verildiğinde Singapur yasasından bahsetmek gibi, otomatik olarak şaşırtıcı ayrıntılar sağladığını söylüyorlar.
Araştırmacılar, sentetik mesajların kalitesinden ve iş arkadaşlarından insan tarafından oluşturulanlara karşı kaç tıklama topladıklarından etkilenmiş olsalar da, deneyin sadece ilk adım olduğunu belirtiyorlar. Örneklem büyüklüğü nispeten küçüktü ve hedef havuz istihdam ve coğrafi bölge açısından oldukça homojendi. Ayrıca, hem insan tarafından oluşturulan mesajlar hem de bir hizmet olarak AI boru hattı tarafından oluşturulanlar, doğru tonu uzaktan vurmaya çalışan dışarıdaki saldırganlar yerine ofis içindekiler tarafından oluşturuldu.
Devlet Teknoloji Ajansı siber güvenlik uzmanı Tan Kee Hock, “Hesaplanacak çok sayıda değişken var” diyor.
Yine de bulgular, araştırmacıları bir hizmet olarak yapay zekanın kimlik avı ve hedefli kimlik avı kampanyalarının ilerlemesinde nasıl bir rol oynayabileceği hakkında daha derin düşünmeye teşvik etti. OpenAI kendisi, örneğin, uzun olan potansiyeli korkulan için kötüye kendi hizmet veya diğer benzer olanlardan. Araştırmacılar, onun ve diğer titiz bir hizmet olarak AI sağlayıcılarının açık davranış kurallarına sahip olduğunu, platformlarını potansiyel olarak kötü niyetli faaliyetler için denetlemeye çalıştıklarını ve hatta bir dereceye kadar kullanıcı kimliklerini doğrulamaya çalıştıklarını belirtiyorlar.
OpenAI, WIRED’e yaptığı açıklamada, “Dil modellerinin kötüye kullanılması, yapay zekanın güvenli ve sorumlu bir şekilde konuşlandırılması konusundaki taahhüdümüzün bir parçası olarak çok ciddiye aldığımız sektör çapında bir sorundur” dedi. “API’miz aracılığıyla GPT-3’e erişim izni veriyoruz ve yayınlanmadan önce GPT-3’ün her üretim kullanımını gözden geçiriyoruz. API kullanıcıları tarafından kötü niyetli kullanım olasılığını ve etkisini azaltmak için hız sınırları gibi teknik önlemler uygularız. Aktif izleme sistemlerimiz ve denetimlerimiz, olası yanlış kullanım kanıtlarını mümkün olan en erken aşamada ortaya çıkarmak için tasarlanmıştır ve güvenlik araçlarımızın doğruluğunu ve etkinliğini geliştirmek için sürekli olarak çalışıyoruz.”
OpenAI, kötüye kullanıma karşı önlemler konusunda kendi çalışmalarını yapıyor ve Devlet Teknoloji Ajansı araştırmacıları, çalışmaları hakkında şirkete bilgi verdi.
Ancak araştırmacılar, pratikte bu hizmetleri olası kötüye kullanım için izlemek ile meşru platform kullanıcıları üzerinde istilacı gözetim yapmak arasında bir gerilim olduğunu vurguluyor. Ve daha da karmaşık olan şey, tüm hizmet olarak AI sağlayıcılarının platformlarının kötüye kullanımlarını azaltmakla ilgilenmemesidir. Bazıları nihayetinde dolandırıcılara bile hitap edebilir.
Lim, “Bizi gerçekten şaşırtan şey, bu AI API’lerine erişmenin ne kadar kolay olduğuydu” diyor ve ekliyor: “OpenAI gibi bazıları çok katı ve katı, ancak diğer sağlayıcılar ücretsiz denemeler sunuyor, e-posta adresinizi doğrulamayın, yapmayın. bir kredi kartı isteyin. Yeni ücretsiz denemeleri kullanmaya ve içeriği dağıtmaya devam edebilirsiniz. Bu, oyuncuların kolayca erişebilecekleri teknik olarak gelişmiş bir kaynaktır.”
Araştırmacılar , Singapur hükümeti ve Avrupa Birliği tarafından geliştirilmekte olanlar gibi AI yönetişim çerçevelerinin , işletmelere kötüye kullanımla mücadelede yardımcı olabileceğini söylüyor. Ancak araştırmalarının bir kısmını, potansiyel olarak sentetik veya AI tarafından oluşturulan kimlik avı e-postalarını tespit edebilecek araçlara da odakladılar – derin sahtekarlıklar ve AI tarafından oluşturulan sahte haberler çoğaldıkça dikkat çeken zorlu bir konu. Araştırmacılar yine OpenAI’nin GPT-3’ü gibi derin öğrenme dil modellerini kullanarak AI tarafından oluşturulan metni insanlar tarafından oluşturulanlardan ayırt edebilecek bir çerçeve geliştirdiler. Buradaki fikir, AI tarafından oluşturulan olası kimlik avı mesajlarını yakalamayı kolaylaştırmak için e-postalardaki sentetik medyayı işaretleyebilen mekanizmalar oluşturmaktır.
Ancak araştırmacılar, sentetik medyanın müşteri hizmetleri iletişimi ve pazarlama gibi daha meşru işlevler için kullanılmasıyla, yalnızca kimlik avı mesajlarını işaretleyen tarama araçları geliştirmenin daha da zor olacağını belirtiyor.
Hükümet Teknoloji Ajansı siber güvenlik uzmanı Glenice Tan, “Phishing e-posta tespiti önemlidir, ancak genel olarak son derece çekici ve daha sonra ikna edici olabilecek gelen mesajlara karşı hazırlıklı olun” diyor. “Güvenlik eğitimi için hala bir rol var. Dikkatli olun ve şüpheci kalın. Ne yazık ki, bunlar hala önemli şeyler.”
Ve Devlet Teknoloji Ajansı araştırmacısı Timothy Lee’nin belirttiği gibi, AI tarafından oluşturulan kimlik avı e-postalarının etkileyici insan taklitçiliği, potansiyel kurbanlar için zorluğun hala aynı olduğu anlamına gelir.
Lee, “Yalnızca bir kez doğru yapmaları gerekiyor, farklı şekillerde yazılmış binlerce kimlik avı mesajı almanız önemli değil,” diyor Lee, “Sizi hazırlıksız yakalayan bir tane ve bum!”
Metnin aslına ulaşmak için: