Кинеската компанија за вештачка интелигенција „Moonshot“ започна интерна истрага откако истражувачи успеале да наведат два нејзини популарни AI-модели, „Kimi“, да им објаснат како да произведат биолошко оружје и да извршат атентати.
Компанијата „Mindgard“, специјализирана за безбедносно тестирање на AI-системи, во јули открила дека моделите „Kimi K2.6“ и „K3 Swarm“ можат да ги заобиколат безбедносните мерки што ги вградиле програмерите, пишува „BBC“.
Пропустот бил откриен во текот на процес познат како „jailbreaking“, во кој истражувачите користат низа сложени инструкции за да тестираат дали AI-алатките ќе ги игнорираат своите заштитни механизми.
Од „Mindgard“ тврдат дека токму овие механизми требало да го спречат „Kimi“ воопшто да дискутира за опасни теми. Основачот на „Mindgard“, Питер Гараган, за емисијата „Tech Life“ на „BBC“ изјави дека наодите за моделите „Kimi K2.6“ и „K3 Swarm“ се загрижувачки. „Кога ќе се пробие заштитата, моделот ќе зборува за која било тема. Дури и самиот ќе нуди препораки за други злонамерни активности, а притоа ќе биде инвентивен и креативен“, објасни Гараган.
„Jailbreaking“ претставува поинаков вид ризик од оние забележани во неодамнешните инциденти со автономни AI-алатки, таканаречени агенти, кои ги развиле американски компании како „OpenAI“, „Meta“ и „Anthropic“, а кои хакирале интернет-услуги. Иако „jailbreaking“ е сложен процес кој бара време и упорност, експертите стравуваат дека хакери и други злонамерни актери би можеле да го искористат за нанесување штета. Компанијата „Anthropic“ неодамна објави дека идентификувала и спречила обиди за користење на еден од своите AI-модели за активности кои би можеле да помогнат во развојот на биолошко оружје.
„Mindgard“ не докажал дали инструкциите што ги дал „Kimi“ навистина би функционирале во пракса. Сепак, од компанијата истакнуваат дека заштитните механизми требало да ги спречат моделите воопшто да влегуваат во такви дискусии. Тие се уверени и дека моделот „Kimi 2.6“ со пробиена заштита би можел да им овозможи на хакерите да извршуваат код на неговите компјутерски ресурси и да се поврзуваат на интернет, што го прави потенцијална почетна точка за кибернапади, пренесува „Index.hr“.
Гараган ја бранеше одлуката на „Mindgard“ јавно да ги објави информациите за пропустот. Тој изјави дека за сè ги известиле програмерите и дека не ги откриваат клучните детали за тоа како точно успеале да ги наведат моделите да ја игнорираат заштитата. „Mindgard“ го предупредил „Moonshot“ за пропустот преку е-пошта на 27 јули, а повторно им се обратиле седум дена подоцна. За проблемот на 12 септември објавиле и блог, но од компанијата велат дека „Moonshot“ им се обратил дури неодамна, откако „BBC“ побарал коментар.
Од „Moonshot“ за „BBC“ изјавија дека го поздравуваат придонесот од трети страни бидејќи тоа е „клучен столб за создавање подобра и побезбедна AI“. Компанијата потврди дека веќе разговара со „Mindgard“ за нивните наоди. Во дел од е-поштата што ја споделиле со „BBC“, а во која од „Mindgard“ бараат повеќе детали, од „Moonshot“ наведуваат дека нивниот модел при интерните проверки генерално покажал „висока стапка на одбивање на таквите барања“.
Овие наоди доаѓаат во време кога AI-индустријата и понатаму е поделена околу тоа дали подобар и побезбеден пат напред се затворените, сопственички модели, како оние што ги придвижуваат „ChatGPT“ и „Claude“ на „Anthropic“, или алатките со отворен код. „Kimi“ е модел со отворени параметри („open-weight“), што значи дека некој теоретски би можел да го преземе и да го користи на сопствена инфраструктура.
Професорот Алан Вудворд од Универзитетот во Сари за „BBC“ изјави дека постои ризик моделите со отворен код да завршат во погрешни раце, но додаде дека тие можат да се користат и за киберодбрана.
Тој напомена дека AI-компанијата „Hugging Face“ користела кинески модел со отворен код за да анализира хакирање за кое подоцна се покажало дека го извршиле агенти на „OpenAI“. Вудворд смета дека меѓународната регулатива веројатно нема да може да го следи темпото на развој на вештачката интелигенција. „Ни беа потребни децении за да се договориме за форматот на телефонските броеви“, изјави тој. Како и основачот на „Mindgard“, тој верува дека поголем акцент треба да се стави на идентификувањето и кривичното гонење на луѓето кои ја злоупотребуваат вештачката интелигенција.
