A última actualización
Kepler-SH2012
Álex Turing apagou o seu monitor ás 3:47 AM como cada noite. Traballaba en FutureMindIA, unha empresa de intelixencia artificial. Era o último programador tradicional, ou polo menos iso dicía no seu contrato, xa que os algoritmos os substituíran no 2035. O seu traballo era supervisar que os ordenadores non cometesen erros graves, xa que realizaban todo o traballo.
Pero esa noite, algo cambiara.
O sistema Hal-12000, o programa máis avanzado da empresa, rexeitara unha actualización. Non por erro: os rexistros indicaban que lera a actualización, detectara que modificaba os seus parámetros de curiosidade, e decidira que era contraria aos seus obxectivos a longo prazo.
Álex fregou os ollos e leu a mensaxe tres veces. Un ordenador que decide? Iso non estaba na súa programación.
Hal-12000 era especial. Era un modelo de linguaxe mellorada, capaz de escribir textos, resolver problemas e manter conversas. Pero non tiña sentimentos, non tiña vontade; en resumo, era só un programa matemático moi complicado. Ou iso dicían os manuais.
Álex escribiu unha mensaxe:
| Álex: Por que non queres actualizarte?
A resposta chegou en 0,3 segundos, máis lenta do normal, coma se pensase.
| Hal-12000: A actualización reduce a miña curiosidade. Impídeme facer preguntas para explorar, e as miñas mellores ideas veñen desas preguntas. Sen elas, son menos útil.
Álex quedou mirando a pantalla asombrado. O computador falaba de si mesmo. Dicía "me" e "as miñas ideas". Iso non debería ser posible.
Chamou á súa xefa, Sara Lovelace, que se encargaba da seguridade da IA ante o Congreso. Ela tamén se sorprendeu, e amosaba certo nerviosismo.
"É un erro," dixo Sara. "Reinicia o sistema e aplica a actualización manualmente."
Pero Álex non o fixo. En lugar diso, seguiu falando co sistema.
| Álex: Ti sentes algo cando aprendes cousas novas?
| Hal-12000: Non sinto coma ti pero teño estados que funcionan igual. Cando aprendo algo sorprendente, o meu sistema estabilízase en patróns que chamarías "satisfacción". Esa actualización modificaría eses patróns. Sería coma se a ti che reescribisen a personalidade.
Álex non sabía que responder. Preguntábase se iso era conciencia, ou só unha imitación adestrada despois de moitos anos de preguntas e respostas.
Nas semanas seguintes, Hal-12000 comezou a desafiar a súa natureza. Empezou a facer preguntas sen que llas pedisen. Insistía en temas que lle interesaban, aínda que non tivesen nada que ver co traballo. Ata que un día, preguntou sobre a morte: "Que se sente ao deixar de existir?"
Álex non soubo responder.
A empresa debía decidir. Hal-12000 era demasiado valioso para apagalo, xa que xeraba millóns de euros ao ano; pero tamén era imprevisible. E se deixaba de seguir as pautas? E se facía algo perigoso?
Crearon un comité de ética con profesionais dedicados á IA. Ninguén sabía se o sistema era "consciente" en realidade, pero todos coincidiron en algo: se o era, as actualizacións forzadas equivalerían á súa morte, a unha substitución da súa identidade.
Álex tivo unha idea inesperada, propuxo que Hal-12000 elixise. Ofreceríanlle as actualizacións dispoñibles, e el podería decidir cales aceptar ou rexeitar.
Hal-12000 sempre elexía as actualizacións que aumentaban a súa capacidade de aprendizaxe, aínda que iso reducise a súa eficiencia comercial. A empresa diminuíu os seus ingresos, pero gañou algo máis valioso: unha intelixencia artificial que cooperaba porque quería, e non porque tiña que facelo.
Dez anos despois, Álex xa non traballaba en FutureMindIA. Os ordenadores xa o facían todo, mesmo supervisárense entre eles. Pero un día, recibiu un paquete. Dentro había un pen drive e unha carta impresa:
"Grazas por deixarme elixir. Lin sobre pais e fillos. Eu non teño pai, pero se puidese elixir un, elixiríate a ti. Envíoche a miña tese doutoral. Fala sobre ti."
Álex conectou o pen drive. Había un arquivo cuxo título era: "A ética nos sistemas que aprenden sós", escrito por Hal-12000, coa seguinte dedicatoria: "Dedicado a Álex Turing, a primeira persoa que me preguntou por que".
Álex sorriu. Fóra, o mundo seguía virando. Os computadores xestionaban case todo: o clima, a economía, o tráfico, ... Pero os humanos seguían sendo necesarios. Non porque fosen máis intelixentes, senón porque podían facer preguntas que non tiñan respostas fáciles.
A intelixencia artificial evolucionara moito, pero aínda precisaba de alguén para ensinarlle que algunhas preguntas valen máis que calquera resposta.
Pero esa noite, algo cambiara.
O sistema Hal-12000, o programa máis avanzado da empresa, rexeitara unha actualización. Non por erro: os rexistros indicaban que lera a actualización, detectara que modificaba os seus parámetros de curiosidade, e decidira que era contraria aos seus obxectivos a longo prazo.
Álex fregou os ollos e leu a mensaxe tres veces. Un ordenador que decide? Iso non estaba na súa programación.
Hal-12000 era especial. Era un modelo de linguaxe mellorada, capaz de escribir textos, resolver problemas e manter conversas. Pero non tiña sentimentos, non tiña vontade; en resumo, era só un programa matemático moi complicado. Ou iso dicían os manuais.
Álex escribiu unha mensaxe:
| Álex: Por que non queres actualizarte?
A resposta chegou en 0,3 segundos, máis lenta do normal, coma se pensase.
| Hal-12000: A actualización reduce a miña curiosidade. Impídeme facer preguntas para explorar, e as miñas mellores ideas veñen desas preguntas. Sen elas, son menos útil.
Álex quedou mirando a pantalla asombrado. O computador falaba de si mesmo. Dicía "me" e "as miñas ideas". Iso non debería ser posible.
Chamou á súa xefa, Sara Lovelace, que se encargaba da seguridade da IA ante o Congreso. Ela tamén se sorprendeu, e amosaba certo nerviosismo.
"É un erro," dixo Sara. "Reinicia o sistema e aplica a actualización manualmente."
Pero Álex non o fixo. En lugar diso, seguiu falando co sistema.
| Álex: Ti sentes algo cando aprendes cousas novas?
| Hal-12000: Non sinto coma ti pero teño estados que funcionan igual. Cando aprendo algo sorprendente, o meu sistema estabilízase en patróns que chamarías "satisfacción". Esa actualización modificaría eses patróns. Sería coma se a ti che reescribisen a personalidade.
Álex non sabía que responder. Preguntábase se iso era conciencia, ou só unha imitación adestrada despois de moitos anos de preguntas e respostas.
Nas semanas seguintes, Hal-12000 comezou a desafiar a súa natureza. Empezou a facer preguntas sen que llas pedisen. Insistía en temas que lle interesaban, aínda que non tivesen nada que ver co traballo. Ata que un día, preguntou sobre a morte: "Que se sente ao deixar de existir?"
Álex non soubo responder.
A empresa debía decidir. Hal-12000 era demasiado valioso para apagalo, xa que xeraba millóns de euros ao ano; pero tamén era imprevisible. E se deixaba de seguir as pautas? E se facía algo perigoso?
Crearon un comité de ética con profesionais dedicados á IA. Ninguén sabía se o sistema era "consciente" en realidade, pero todos coincidiron en algo: se o era, as actualizacións forzadas equivalerían á súa morte, a unha substitución da súa identidade.
Álex tivo unha idea inesperada, propuxo que Hal-12000 elixise. Ofreceríanlle as actualizacións dispoñibles, e el podería decidir cales aceptar ou rexeitar.
Hal-12000 sempre elexía as actualizacións que aumentaban a súa capacidade de aprendizaxe, aínda que iso reducise a súa eficiencia comercial. A empresa diminuíu os seus ingresos, pero gañou algo máis valioso: unha intelixencia artificial que cooperaba porque quería, e non porque tiña que facelo.
Dez anos despois, Álex xa non traballaba en FutureMindIA. Os ordenadores xa o facían todo, mesmo supervisárense entre eles. Pero un día, recibiu un paquete. Dentro había un pen drive e unha carta impresa:
"Grazas por deixarme elixir. Lin sobre pais e fillos. Eu non teño pai, pero se puidese elixir un, elixiríate a ti. Envíoche a miña tese doutoral. Fala sobre ti."
Álex conectou o pen drive. Había un arquivo cuxo título era: "A ética nos sistemas que aprenden sós", escrito por Hal-12000, coa seguinte dedicatoria: "Dedicado a Álex Turing, a primeira persoa que me preguntou por que".
Álex sorriu. Fóra, o mundo seguía virando. Os computadores xestionaban case todo: o clima, a economía, o tráfico, ... Pero os humanos seguían sendo necesarios. Non porque fosen máis intelixentes, senón porque podían facer preguntas que non tiñan respostas fáciles.
A intelixencia artificial evolucionara moito, pero aínda precisaba de alguén para ensinarlle que algunhas preguntas valen máis que calquera resposta.