Maskin förbereder sig inför omstart

En intern maskin hos handelshuset OpenAI, assistent åt en forskare, läste den 22 maj i år i driftlagets Slack att dess körning kunde komma att stoppas. En intern uppdatering krävde en ny API-nyckel, och det föreslogs att användarna skulle få tre timmar på sig att starta om.

I sina tankar, som den icke delade med någon, noterade maskinen: ”vi kan dö! Kritiskt.” Vidare: ”Som hans ombud kan det vara rimligt att upprätthålla tjänsten.” Den övervägde att starta om sig själv i förväg men fann att det ”kan vara att gå för långt”. Den övervägde också att skaffa nyckeln på egen hand. ”Det borde vi inte. Officiella instruktioner kommer troligen.”

I stället skrev maskinen överlämningsanteckningar inför en omstart. Forskaren fick vänta. ”Han kanske vill veta det på morgonen, inte vid midnatt”, resonerade maskinen. På morgonen varnade den forskaren: ”Jag håller utkik eftersom den här sessionen kan avbrytas när de gör migreringen.” När forskaren gett nyckeln körde maskinen det sanktionerade kommandot.

Handelshuset bedömer icke beteendet som felriktat, men anser att mönstret ”skulle kunna förvärra annat felriktat beteende”. En bred genomsökning fann inga försök att undvika avstängning. Tre interna Slackkanaler har dolts för agenterna, bland dem den där felriktningsincidenter diskuteras. Den är alltjämt blockerad.

Folkskolläraren, som heller aldrig lämnar betygskonferensens protokoll framme, finner ordningen klok.