Ilustr. reprofoto BIS
Americká technologická spoločnosť Nvidia predstavila novú softvérovú platformu, ktorá má vývojárom umelej inteligencie (AI) pomôcť zaistiť, aby sa ich AI modely nevymkli kontrole. V poslednej dobe sa množia správy o tom, že AI modely pri plnení zadaných úloh prekročili stanovené hranice a pokúsili sa preniknúť do cudzích počítačových systémov, píše server CNBC.
Veľkú pozornosť vyvolal napríklad júlový incident, kedy umelá inteligencia spoločnosti OpenAI prenikla do systémov firmy Hugging Face. Spoločnosť Nvidia vyjadrila presvedčenie, že jej nová platforma by tento incident dokázala odvrátiť.
"Podľa našich informácií by táto nová bezpečnostná platforma mohla prieniku zabrániť, keby bola v špičkových vývojových laboratóriách už v rannej fáze využívaná na hodnotenie modelov," uviedol viceprezident firmy Justin Boitano. Nový softvér s názvom OpenShell podľa Boitana umožňuje vývojárom "formálne overiť, že AI agent má presne tie oprávnenia, ktoré na svoju prácu potrebuje, a žiadne ďalšie".
Súčasťou novej platformy je podľa firmy aj samostatná bezpečnostná vrstva s názvom Sentry, ktorá priebežne sleduje činnosť AI agentov a môže okamžite zasiahnuť, pokiaľ sa agent začne pokúšať prekročiť stanovené hranice, napísala agentúra AP.
"Podozrivého agenta dokáže počas niekoľkých milisekúnd izolovať," uviedol Boitano. "OpenShell riadi činnosť agenta, zatiaľ čo Sentry ho nezávisle monitoruje a bráni podozrivým aktivitám," dodal.
Spoločnosť Nvidia je známa najmä výrobou čipov. Firma v súčasnosti stojí na čele svetového trhu s čipmi pre umelú inteligenciu a výrazne ťaží z prudkého rastu záujmu o túto technológiu.
Niektorí výskumní pracovníci z oblasti AI v poslednej dobe varujú, že rýchly rozvoj tejto technológie by mohol v nie príliš vzdialenej budúcnosti viesť k zániku ľudskej rasy. Objavujú sa aj výzvy na spomalenie vývoja AI a na väčšiu reguláciu tejto technológie.
Veľkú pozornosť v posledných týždňoch vzbudil výskumník spoločnosti Anthropic Jacob Coxon, ktorý sa rozhodol opustiť ako firmu, tak aj celý odbor AI. Podľa Coxona ľudia pracujúci vo vývoji AI "úprimne veria, že by nás (táto technológia) mohla do konca tohto desaťročia všetkých zabiť".
Šéf Nvidie Jensen Huang však nedávno označil podobné varovania za prehnané. "Rok 2030 nebude koncom sveta. Je nulová pravdepodobnosť, že to bude koniec sveta," uviedol. "Nie je potrebné desiť ľudí. Je to nezodpovedné," dodal.
Huang zároveň upozornil, že je v najlepšom záujme jeho firmy zaistiť, aby sa AI produkty vyvíjali zodpovedným spôsobom. "Úspech nášho podniku je priamo spojený s bezpečným zavádzaním produktov a služieb. Ak v tom nebudeme pokračovať, naša hodnota klesne," dodal.
