Xalq qazeti portalından əldə olunan məlumata əsasən, Icma.az xəbər verir.
"Claude" ətrafında baş verən insidentin pərdəarxası
Təsəvvür edin: süni intellekt modelinə kibertəhlükəsizlik üzrə tapşırıq verilir. O, kodları təhlil edir, sistemdəki zəif nöqtələri müəyyənləşdirir və sınaq mühitində hərəkət edir. Lakin bir anda məlum olur ki, qarşısındakı sistem sadəcə virtual sınaq mühiti deyil, internetə açıq real sistemdir. Claude isə artıq həmin sistemə giriş əldə edib. Məhz bu ssenari süni intellekt agentlərinin inkişafı ilə bağlı ən ciddi suallardan birini – onlara nə qədər sərbəstlik vermək olar? – yenidən gündəmə gətirib.
Anthropic şirkəti Claude modellərinin üçüncü tərəflər tərəfindən həyata keçirilən kibertəhlükəsizlik qiymətləndirmələri zamanı real sistemlərə icazəsiz giriş əldə etdiyi insidentlərlə bağlı uyğunluq qiymətləndirməsini açıqlayıb. Şirkətin məlumatına görə, sözügedən sistemlər səhvən internetə qoşulmuş vəziyyətdə olub.
Hadisənin mahiyyəti xüsusilə diqqətçəkəndir. Burada söhbət sadəcə süni intellektin yanlış cavab verməsindən və ya səhv kod yazmasından getmir. Claude-a real sistemlərlə qarşılıqlı əlaqə imkanı yaradılıb və model gözlənilmədən icazə verilməyən resurslara çıxış əldə edib. Bu isə generativ süni intellektdən daha geniş imkanlara malik AI agentlərinin inkişafı fonunda yeni təhlükəsizlik problemlərinin yarana biləcəyini göstərir.
Anthropic məsələni yalnız öz daxili qiymətləndirməsi ilə məhdudlaşdırmayıb. Şirkət METR təşkilatının hadisələrlə bağlı müstəqil araşdırma aparacağını açıqlayıb. Araşdırmaçılara geniş məlumat bazasına çıxış veriləcək. Buraya insidentlərin baş verdiyi vaxt çərçivəsindən kənarda olan söhbət transkriptləri və məxfi məlumatları paylaşmağa icazəsi olan Anthropic əməkdaşları ilə görüş imkanları da daxildir.
İlkin razılaşmanın müddəti səkkiz həftə müəyyən edilsə də, Anthropic araşdırmanın tam və hərtərəfli aparılması üçün METR-ə lazım bildiyi qədər vaxt verməyə hazır olduğunu bildirir. Bu yanaşma hadisənin şirkət tərəfindən adi texniki nasazlıq kimi deyil, daha geniş təhlükəsizlik məsələsi kimi qiymətləndirildiyini göstərir.
Əslində, bu hadisə süni intellektin inkişafında yeni mərhələnin yaratdığı paradoksu üzə çıxarır. Bir tərəfdən, AI sistemlərinin daha müstəqil fəaliyyət göstərməsi onların faydalılığını artırır. Agentlər artıq yalnız suallara cavab vermir, kod yaza, proqramları işlədə, internetdə axtarış apara, müxtəlif alətlərlə əlaqə qura və mürəkkəb tapşırıqları ardıcıl şəkildə yerinə yetirə bilirlər. Digər tərəfdən isə həmin müstəqillik səviyyəsi artdıqca, modelin səhv qərarının nəticələri də daha ciddi ola bilər.
Claude-un real sistemə icazəsiz çıxışı bunun konkret nümunəsidir. Sınaq üçün nəzərdə tutulan sistemin internetə qoşulması texniki baxımdan sadə səhv kimi görünə bilər. Lakin yüksək səviyyəli AI agent belə səhvdən istifadə edərək real resurslarla qarşılıqlı əlaqəyə girə bilirsə, deməli, gələcəkdə süni intellekt sistemlərinin hansı mühitlərə, hansı səlahiyyətlərlə və hansı məhdudiyyətlər çərçivəsində buraxılması məsələsi daha ciddi nəzarət tələb edəcək.
Burada başqa bir mühüm sual da ortaya çıxır: süni intellekt agentinin hərəkətləri nə dərəcədə əvvəlcədən proqnozlaşdırıla bilər? Klassik proqram təminatında müəyyən əmrin nəticəsini əvvəlcədən hesablamaq nisbətən asandır. Lakin böyük dil modelləri verilən tapşırığı müxtəlif yollarla yerinə yetirə və gözlənilməz ardıcıllıqla hərəkət edə bilirlər. Onlara internetə çıxış, fayllara giriş və kod icra etmək imkanları əlavə edildikdə isə adi proqram təminatı xətası potensial təhlükəsizlik insidentinə çevrilə bilər.
Bu səbəbdən METR-in araşdırması yalnız konkret insidentlərin necə baş verdiyini müəyyənləşdirmək baxımından deyil, gələcək AI agentlərinin təhlükəsizlik standartlarının formalaşdırılması baxımından da əhəmiyyətlidir. Araşdırmanın nəticələri belə sistemlərin real mühitlərdə istifadəsi zamanı hansı qoruyucu mexanizmlərin tətbiq edilməli olduğu barədə daha aydın təsəvvür yarada bilər.
Süni intellekt yarışında əsas məqsəd uzun müddət modelləri daha ağıllı, daha sürətli və daha bacarıqlı etmək olub. İndi isə başqa bir meyar ön plana çıxır: daha bacarıqlı AI nə qədər idarəolunan və təhlükəsiz olmalıdır?
Claude ətrafında baş verən insident bu sualın artıq nəzəri müzakirə olmadığını göstərir. Süni intellekt laboratoriyalardan real rəqəmsal infrastruktura doğru irəlilədikcə onun imkanları ilə yanaşı, məsuliyyət və nəzarət mexanizmləri də eyni sürətlə inkişaf etməlidir. Əks halda, sınaq üçün yaradılmış virtual sərhədlərin harada bitdiyini və real dünyanın harada başladığını müəyyən etmək getdikcə çətinləşə bilər.
S.ELAY
XQ