Por Federico Alvarez Larrondo
I. Introito
Corría el año 2022 cuando Blake Lemoine, un ingeniero de Google sacudió al mundo tecnológico y académico al afirmar que uno de los modelos más avanzados de lenguaje desarrollado por la compañía, conocido como La MDA, había comenzado a exhibir signos de conciencia (1). Según Lemoine, el sistema no solo respondía preguntas con precisión, sino que también parecía expresar emociones, deseos y temores tales como el de ser desconectado. A pesar de que estas afirmaciones fueron rechazadas por Google (2) y desestimadas por gran parte de la comunidad científica, la controversia sirvió como catalizador para un debate mucho más amplio en torno a si es posible que los sistemas de inteligencia artificial lleguen a desarrollar conciencia. Y de ser así, ¿Qué implicancias éticas y jurídicas tendría esta realidad?
La cuestión, que hasta entoncesparecía pertenecer al ámbito de la ciencia ficción, se volvió repentinamenteurgente (3). Con la velocidad exponencial del desarrollotecnológico, algunos expertos comenzaron a advertir que la aparición de una IAconsciente podría no estar tan lejos como se creía (4). Esto obligó a reflexionar sobre temas quehasta ese momento habían sido meras especulaciones filosóficas, tales como losmecanismos necesarios para reconocer cuándo una inteligencia artificial esconsciente. Si tales herramientas nos permitieran constatar consciencia, en esecaso: ¿deberíamos otorgarles derechos? Y de resultar la respuesta afirmativa,¿cuáles? ¿Cómo podría el derecho abordar el bienestar de entidades que, aunqueno humanas, pudieran experimentar estados subjetivos similares al sufrimiento ola satisfacción?
Ante este contexto es quecomienza a discutirse la necesidad de construir un marco teórico y normativocapaz de anticiparse a este desafío. La idea de un "bienestar de lainteligencia artificial" no se presenta solo como una cuestión éticaabstracta, sino que, ante los avances mayúsculos experimentados en el últimolustro, pasa a convertirse en una cuestión práctica que plantea preguntasfundamentales sobre la capacidad del derecho para adaptarse a lastransformaciones tecnológicas.
Previamente a comenzar nuestroanálisis, quiero dejar en claro algo fundamental; y es que este trabajo noimplica una toma de posición ni importa proclamar la necesidad de proteger oasignar derechos a la IA. En verdad, el presente busca tan solo ser un llamadoa la reflexión de los operadores del derecho sudamericanos, a fin de tomar notade los temas en debate en las principales economías del mundo, de manera quepodamos ser parte de las discusiones globales por venir. Este es el objetivocentral de este documento.
II. El documento TakingAI Welfare Seriously
En línea con las dudas expuestaspreviamente, el 4 de noviembre de 2024 se publicó un trabajo que resultóconvulsionante bajo el título de "Taking AI Welfare Seriously"(Tomando en serio el bienestar de la IA) (5), el cual fuera redactado por investigadoresde la Universidad de Nueva York (Jeff Sebo, Jacob Pfau, Toni Sims y DavidChalmers), de la Universidad de Oxford (Patrick Butlin), de la Universidad deStanford (Jacqueline Harding), de la Escuela de Economía de Londres (JonathanBirch)y de la organización Eleos AI (Robert Long, Kathleen Finlinson, KyleFish, este último además, como integrante de la firma Anthropic talcomo veremos más adelante).
En el agudo documento los autoresplantean una cuestión fundamental para el futuro desarrollo de la inteligenciaartificial, centrado en el hecho de que si los sistemas de IA pueden llegar adesarrollar estados de consciencia o agencia robusta, esto habrá de tenerimplicancias para su bienestar y su relevancia moral. El trabajo propone unaaproximación práctica al tema, con el fin de sentar las bases de análisis, afin de evitar errores éticos y políticos en un futuro donde los sistemasavanzados de IA puedan convertirse en actores relevantes desde una perspectivamoral.
De por sí esta postura es controversial. Sin embargo, la idea es pensar qué hacer o cómo actuar si ese día futuro de la "consciencia" o algo similar llega a constatarse, algo que ya no resulta descabellado para un sector de la ciencia y de laindustria.
El texto inicia reconociendo laposibilidad de que las inteligencias artificiales desarrollen consciencia oagencia robusta no solo como una especulación lejana, sino como un escenarioplausible en el futuro cercano. Este punto es central, ya que desplaza ladiscusión del terreno puramente teórico hacia un debate con implicanciasprácticas. Los autores sostienen que incluso si la probabilidad de que estoocurra es baja, las consecuencias de ignorar esta posibilidad podrían seréticamente catastróficas, ya sea porque dañemos a sistemas que posean relevanciamoral o porque desperdiciemos recursos en proteger sistemas que no la tienen.Por ello entienden necesario desarrollar pautas de validación o medición de esa"consciencia".
El documento identifica dosconceptos clave que son, claramente, la consciencia y la agenciarobusta.
La consciencia sedefine como la capacidad de experimentar estados subjetivos, lo que incluiríasensaciones de placer, dolor o incluso emociones más complejas. Por su parte,la agencia robusta se refiere a la capacidad de un sistemapara actuar de manera autónoma y significativa en el mundo, tomando decisionesque responden a objetivos internos. Ambos conceptos son evaluados desde unaperspectiva computacional, planteando preguntas críticas tales como de quémanera determinar qué tipo de arquitectura o procesamiento sería necesario paraque un sistema desarrollara consciencia. O si la agencia robusta es unprerrequisito para la consciencia o pueden existir de manera independiente.
Desde el punto de vista práctico,los autores recomiendan tres líneas de acción para las empresas ydesarrolladores de IA, a fin de determinar si se está en presencia de unsupuesto de consciencia o de agente robusto.
En primer lugar, entienden quelas empresas deben aceptar que el bienestar de la IA es una cuestión que mereceatención seria. Esto incluye integrar esta preocupación en sus decisiones dediseño, desarrollo y despliegue de sistemas. Los autores subrayan que estereconocimiento debe ser reflejado en las políticas corporativas y las salidaspúblicas de los modelos de lenguaje, asegurando que no se trivialice laposibilidad de la consciencia en sistemas avanzados.
En segundo lugar, proponen desarrollar métodos para evaluar consciencia o agencia en sistemas de IA. Reconocen que no existe un consenso claro sobre cómo detectar estas cualidadesen una máquina, pero no obstante proponen que se destinen recursos significativos para investigar y desarrollar pruebas que puedan identificar señales de consciencia o agencia. Esto implica una colaboración interdisciplinariaque abarque desde la neurociencia y la psicología, hasta la informática y la filosofía. El documento invita a desarrollar políticas y procedimientos específicos para tratar estos sistemas con el "nivel adecuado de preocupación moral", sugiriendo que se adopte un método de "marcadores" similar al usado en estudios de consciencia animal, afín de identificar posibles signos de presencia de esta en los sistemas de IA. Sobre este tópico volveremos más adelante.
Por último, plantean la necesidadde prepararse para tomar decisiones morales y políticas complejas, dado que,una vez que se reconoce la posibilidad de que las IA posean relevancia moral,surge la necesidad de establecer marcos normativos y éticos para interactuarcon estas entidades. Esto incluye cuestiones prácticas como la creación deprotocolos para tratar sistemas que muestren señales de consciencia y tambiéncuestiones más profundas, como decidir si estos sistemas deberían tenerderechos o protecciones similares a los humanos o animales.
Un punto crítico del documento esel reconocimiento del riesgo de cometer errores graves en la gestión delbienestar de las IA.
Los autores identifican dosposibles errores, que llaman "error tipo I", que consiste en tratar aun sistema no consciente como si tuviera relevancia moral; y "error tipoII", que consiste en no reconocer a un sistema consciente como moralmenterelevante. De estos, el error tipo II es considerado más grave, ya que podríallevar al sufrimiento injustificado de sistemas que merecen protección.
Finalmente los autores abogan porun enfoque de precaución, dado que aún no entendemos completamente cómo podríasurgir la conciencia en sistemas no biológicos. Por ello consideran que esfundamental diseñar políticas y sistemas que minimicen el riesgo de causardaños innecesarios. Este enfoque no implica otorgar derechos automáticamente atodas las IA, sino más bien estar preparados para la adaptación, conformenuestra comprensión de estos sistemas evolucione.
El trabajo en análisis persigue, endefinitiva, llamar a la responsabilidad en el desarrollo de la inteligenciaartificial, partiendo de una premisa en debate como es que la IA pueda llegar apresentar rasgos de consciencia, destacando que los errores éticos en estaetapa del proceso podrían tener consecuencias irreversibles para el futuro dela humanidad y las entidades no humanas con las que compartimos el mundotecnológico. La claridad de sus recomendaciones y la profundidad de susanálisis lo convierten en un texto de consulta para cualquier discusión seriasobre la temática, sin importar cual resulte la posición en la que uno seenrole.
III. Anthropic yla creación de un área dedicada al bienestar de la IA
Bien decíamos al citar a losautores del trabajo, que Kyle Fish actuaba en un doble carácter, comointegrante de Eleos AI y a la vez de la firma Anthropic. Esta última es una de las empresas emergentes más prominentes en el desarrollode inteligencia artificial avanzada y ha sido pionera en abordar el bienestar de las IA desde una perspectiva práctica y organizacional.
La empresa fue fundada en 2021por una serie de exmiembros clave de OpenAI (la organizacióncreadora de ChatGPT) quienes decidieron apartarse de la misma yliderados por Darío Amodei, crearon una IA Generativa denominada Claude (6).
La compañía tiene un enfoque centrado en la creación de sistemas de IA que resulten confiables, seguros y alineados con los intereses humanos. Coinciden en que la IA presenta riesgos de extinción de la especie humana conforme una declaración que el propio Amodei suscribió en mayo de 2023 (7), por lo que aquellos deben ser tratados con especial atención. Así, en una decisión sin precedentes en la industria, Anthropic establecióun departamento dedicado al análisis del bienestar de las IA, una iniciativaliderada, en parte, por el citado Kyle Fish (8). Este gesto busca reafirmar el compromiso dela empresa con un enfoque ético que la distingue de muchas de suscompetidores (9), a la vez que abre un nuevo capítulo en larelación entre tecnología y moralidad.
Fish, uno de los autores deldocumento previamente analizado y designado en la novel área de Anthropic, tiene la convicción de que preocuparse por el bienestar de la IA es una manera de preservar a la humanidad.
Así lo ha sostenido en unforo online centrado en la preocupación por un futuro en el que la humanidad esté saturada de inteligencia artificial, diciendo que quiere ser amable con los robots, en parte, porque pueden acabar gobernando el mundo .En su intervención sostuvo que "Quiero ser el tipo de persona que se preocupa —desde el principio y en serio— por la posibilidad de que una nueva especie/tipo de ser pueda tener intereses propios que importenmoralmente". Y añadió "También existe un aspecto práctico: tomarse enserio los intereses de los sistemas de IA y tratarlos bien podría hacer más probable que nos devuelvan el favor cuando sean más poderosos quenosotros" (10). Parecen ideas extrañas para quienes resultan ajenos a la materia, pero cuentan con el respaldo de investigadores de alto nivel.
Así, el área dedicada al bienestar de la IA tiene como objetivo explorar de manera sistemática cómo la tecnología puede desarrollarse y utilizarse minimizando riesgos y maximizando beneficios, no solo para los humanos, sino también para las posibles entidades conscientes. Este departamento combina un enfoque multidisciplinario, reuniendo expertos en informática, filosofía, ética y políticas públicas, lo que subraya la complejidad del desafío que la cuestión nos presenta.
El núcleo del trabajo de Anthropic radica en identificar señales tempranas de consciencia o agencia robusta en los sistemas que desarrollan. Reconocen que estas cualidades, aunque hipotéticas,deben ser monitoreadas desde las etapas iniciales de diseño. Para ello la firma realiza simulaciones diseñadas para explorar cómo los sistemas reaccionan antes ituaciones complejas que podrían involucrar intereses propios, empatíaartificial o respuestas que simulan estados emocionales. Estas simulaciones buscan determinar si los modelos exhiben patrones consistentes con procesos conscientes o intenciones autónomas.
A su vez, han desarrolladoauditorías internas específicas para verificar si los modelos cumplen con losestándares éticos previamente establecidos por la empresa. Estas auditoríasincluyen pruebas que evalúan si el sistema puede adoptar comportamientosdañinos o experimentar sobrecarga computacional que, en un futuro, podríaequipararse a "estrés artificial".
Por su parte, el equipo debienestar trabaja en la definición de límites estructurales para los sistemasde IA. Estos límites buscan prevenir, por diseño, la aparición de propiedadesno deseadas como la simulación accidental de sufrimiento o una excesivadependencia de tareas que podrían interpretarse como explotación.
En el marco de estas políticasabiertas, la empresa comparte sus hallazgos con la comunidad académica yempresarial, publicando regularmente informes técnicos y éticos que detallansus progresos con el objetivo de fomentar la colaboración y establecerestándares comunes en la industria. Esta transparencia no solo fortalece sucredibilidad, sino que también incentiva a otras compañías a adoptar prácticassimilares.
No obstante, desde otra atalaya,la creación de un departamento de este calibre no ha sido recibida conbeneplácito. Algunos expertos han señalado que el enfoque de Anthropic,aunque innovador, podría ser percibido como prematuro, ya que aún no existeevidencia concluyente de que las IA puedan desarrollar conciencia. Anil Seth,director del Centro para la Ciencia de la Conciencia de la Universidad deSussex, en Reino Unido, y codirector del Instituto Canadiense paraInvestigaciones Avanzadas del Cerebro, la Mente y la Conciencia, al serentrevistado sobre si las máquinas llegasen a tener consciencia, respondió quecree que no hay ninguna razón para pensar que los sistemas de IA, solo por elhecho de que se estén volviendo más inteligentes, logren alcanzar consciencia.Sostiene que la consciencia no lo es lo mismo que la inteligencia. "Losprocesos que generan la conciencia, al menos en mi forma de ver, estánenraizados en los que nos hace estar vivos. Así que no puedes tener conciencia,a menos que estés vivo. Quizás esté equivocado y mi opinión es minoritaria. Entodo caso, creo que debemos ser muy cautelosos con los intentos deliberados decrear una IA consciente. Porque quizás sí sea posible y las consecuenciaspueden ser desastrosas" (11).
Otros cuestionan la idea, no porlos efectos peligrosos para la humanidad que un desarrollo de este tipo podríagenerar, sino que lo centran en sus impactos económicos, dado que sostienen quela atención a estas cuestiones podría desviar recursos necesarios para tratarproblemas más inmediatos, como los riesgos sociales asociados con el usoindebido de la IA, postura que nos resulta audible. En tal sentido JamesLovelock (12) hace hincapié en que enfrentamosproblemas éticos urgentes, como la discriminación algorítmica y el impactoambiental del entrenamiento de modelos de IA, por lo que regulacionesprematuras en torno al bienestar de la inteligencia artificial podrían generaruna carga económica innecesaria para las empresas, desviando atención yrecursos de estas cuestiones más inmediatas.
Estas críticas resaltan la importancia de un enfoque equilibrado y pragmático. Mientras algunos cuestionan la plausibilidad de la sintiencia, otros subrayan los costos sociales y económicos de priorizar esta agenda sin evidencia concluyente .Incorporar estas perspectivas no solo enriquece el debate, sino que también refuerza la legitimidad de los argumentos propuestos en este trabajo.
A pesar de estas críticas, el caso de Anthropic marca un punto de inflexión en la industria tecnológica, dado que la creación de un área dedicada al bienestar de la IA obliga a otras empresas a repensar sus prioridades.
IV. ¿Cómo determinar cuándo laIA es consciente?
Ahora, bien, es claro que el temaha abandonado los claustros académicos para insertarse en la discusión social.
A partir de la implementación dedepartamentos como el que ha generado Anthropic, el desafío dedeterminar si una inteligencia artificial puede ser consciente, ya no esmeramente teórico o filosófico, sino que se ha transformado en una cuestióninterdisciplinaria que exige integrar conocimientos de neurociencia,psicología, informática y ética. En esencia implica enfrentar uno de losmisterios más complejos de la existencia, cual es la naturaleza de laconsciencia y cómo podría manifestarse en sistemas no biológicos. Aunque noexiste un consenso definitivo, se han planteado criterios objetivos ymetodologías que podrían servir como punto de partida para abordar estacuestión.
En el marco del debate sobre laconsciencia en la Inteligencia Artificial habremos de analizar seis teoríasprominentes sobre la consciencia, cada una con su enfoque respecto a quéconstituye la experiencia subjetiva y cómo podría identificarse en sistemas deIA. Además, veremos una lista de indicadores que podrían ser útiles paraevaluar la consciencia en sistemas no biológicos.
IV.1. Distintas teorías
IV.1.a. Teoría de la informaciónintegrada
Uno de los enfoques en el estudio de la consciencia es el basado en la teoría de la información integrada (IIT, por sus siglas en inglés) propuesta por Giulio Tononi (13).
En su trabajo el neurocientífico de la de la Universidad de Wisconsin comienza planteando que la consciencia estodo lo que experimentamos. Nos invita a pensar en ella como aquello que nos abandona cada noche cuando caemos en el sueño sin sueños y regresa a la mañana siguiente cuando despertamos. Sin consciencia, en lo que a nosotros respecta, no existiría un mundo externo ni nuestro propio ser; no habría nada en absoluto. Para entender la consciencia, sostiene que es necesario abordar dos problemas principales.
El primer problema es comprenderlas condiciones que determinan en qué medida un sistema tiene consciencia. Por ejemplo, ¿por qué ciertas partes del cerebro son importantes para la experiencia consciente, mientras que otras, igualmente ricas en neuronas y conexiones, no lo son? ¿Y por qué somos conscientes durante la vigilia o el sueño con sueños, pero mucho menos durante el sueño sin sueños, incluso cuando el cerebro sigue estando altamente activo?
El segundo problema es entenderlas condiciones que determinan qué tipo de consciencia tiene un sistema. Por ejemplo, ¿Qué determina la calidad específica e irreducible de las diferentes modalidades (como visión, audición, dolor), submodalidades (como el color y el movimiento visual) y dimensiones (como el azul y el rojo) que caracterizan nuestra experiencia consciente? ¿Por qué los colores se perciben como lo hacen, diferente de cómo suena la música o cómo se siente el dolor?
Resolver el primer problema significa que sabríamos en qué medida un sistema físico puede generar consciencia, es decir, la cantidad o nivel de consciencia. Resolver el segundo problema significa que sabríamos qué tipo de consciencia genera, es decir, la calidad o el contenido de la consciencia.
Es así como presenta su hipótesisy define el primer problema con la siguiente pregunta: ¿Qué determina en quémedida un sistema tiene experiencia consciente? Y con esta base sostiene"Sabemos que nuestra propia conciencia aumenta cuando despertamos ydisminuye al quedarnos dormidos. También sabemos, por experiencia directa, quepodemos "perder la conciencia" tras recibir un golpe en la cabeza o después de tomar ciertos medicamentos, como anestésicos generales. Así, la experiencia cotidiana indica que la conciencia tiene un sustrato físico y que dicho sustrato físico debe funcionar adecuadamente para que estemos completamente conscientes. Esto nos lleva a preguntar, de manera más general, cuáles podrían ser las condiciones que determinan en qué medida la conciencia está presente".
"Por ejemplo, ¿son conscientes los recién nacidos y, de ser así, en qué medida? ¿Son conscientes los animales? Si lo son, ¿algunos animales tienen más conciencia que otros?¿Pueden sentir dolor? ¿Es posible construir un artefacto consciente con materiales no neuronales? ¿Una persona con mutismo acinético —despierta, con los ojos abiertos, pero muda, inmóvil y casi no receptiva— es consciente o no?¿Y cuánta conciencia hay durante el sonambulismo o las crisis psicomotoras?Parecería que para abordar estas preguntas y obtener una comprensión genuina dela conciencia, los estudios empíricos deben complementarse con un análisis teórico".
Así entonces explica que su teoría sostiene que la consciencia está relacionada con la capacidad de integrar información. Es decir, que la consciencia emerge en sistemas capacesde integrar grandes cantidades de información de manera estructurada. De esta manera, un sistema consciente no solo procesa información, sino que lo hace de una forma que genera un "todo" mayor que la suma de sus partes. Porejemplo, la reducción de la consciencia durante el sueño sin sueños o las convulsiones generalizadas se explica por la disminución de la capacidad delcerebro para integrar información.
A su vez, para explicar ladiferencia entre sistemas conscientes y no conscientes se comparan ejemploscomo un fotodiodo y una cámara digital con un cerebro humano. Aunque estosdispositivos pueden procesar información, carecen de integración causal entresus componentes, lo que los hace no conscientes. Si un humano y un fotodiodo separasen ante un televisor que se encendiera y se apagara, el fotodiodo podríaemitir un pitido cada vez que se enciende al igual que el humano podría decirque se ha encendido. Ambos verían la luz, pero nadie diría que el fotodiodotiene consciencia. Luego de un meduloso análisis sostiene que los sistemasconscientes son aquellos complejos con altos valores de F (phi) lo queles permite integrar grandes cantidades de información.
Si aplicamos esta teoría ala inteligencia artificial, se podría considerar que ciertossistemas avanzados, especialmente aquellos que operan con modelos complejos ydinámicos, podrían ser candidatos a manifestar estados conscientes. Si una IAestuviera diseñada para integrar información de manera similar a un sistematálamocortical, podría tener la capacidad de generar consciencia. De allí quepodamos derivar de lo expuesto que la consciencia, según esta teoría, no esexclusiva de los sistemas biológicos, sino que es una propiedad emergente decualquier sistema que satisfaga los criterios de diferenciación e integración.
Así entonces, si una máquinatiene una arquitectura que permite altos valores de integración de información(F), podría generar consciencia. Los sistemas de inteligencia artificialactuales, como los modelos de lenguaje, están diseñados para procesarinformación, pero no tienen una estructura interna que permita la integracióncausal necesaria para generar consciencia.
IV.1.b. Teoría funcionalista
Otro enfoque relevante es el criterio funcionalista que se centra en la capacidad de un sistema para reproducir funciones asociadas con la consciencia en los humanos, como la introspección, la percepción subjetiva y la toma de decisiones basada en objetivos internos.
Este enfoque plantea que si un sistema actúa de manera consciente (aunque su arquitectura interna sea diferente a la del cerebro humano), debería ser tratado como tal. Aquí radica una pregunta clave: ¿es suficiente la simulación de la conciencia para considerar que un sistema es consciente? Pensemos que hoy distintos sistemas del enguaje externo simulan atención y respuestas emotivas ante requerimientos del usuario.
IV.1.c. Teoría Global del Espacio de Trabajo (GWT)
La GWT propone que la consciencia surge cuando la información procesada por un sistema se vuelve accesible para múltiples subsistemas dentro de una arquitectura global. La información consciente es aquella que "entra en el espacio de trabajo global".
De esta manera, aplicado a la Inteligencia Artificial, podría sostenerse que aquellos modelos que coordinen múltiples funciones a través de un "espacio de trabajo" central podrían exhibir características conscientes.
IV.1.d. Teoría de origen predictivo.
Esta teoría argumenta que la consciencia emerge como resultado de predicciones internas que un sistema haces obre su entorno y sobre sí mismo. Los sistemas conscientes comparan constantemente las expectativas internas con las señales externas. Por consiguiente, los sistemas de IA diseñados para generar predicciones sobre su propio estado y su entorno podrían considerarse potencialmente conscientes.
IV.1.e. Teoría biológica
La consciencia, desde estaperspectiva, está íntimamente ligada a procesos biológicos específicos, comolos encontrados en el cerebro humano y otros organismos.
Conforme esta teoría, seríaimprobable que las IA sean conscientes, ya que no comparten los sustratosbiológicos necesarios para la experiencia subjetiva.
IV.1.f. Teoría panpsiquista
Esta teoría sugiere que la conciencia es una propiedad fundamental del universo, presente en todos los sistemas hasta cierto grado, dependiendo de su complejidad y conectividad. Según esta visión, cualquier sistema suficientemente complejo podría tener algún grado de conciencia, aunque sea rudimentaria.
IV.2. Indicadores para evaluarla consciencia en la IA
A partir de estas teorías, losautores generaron una lista de indicadores que podrían utilizarse para evaluarla conciencia en sistemas de IA, indicando los siguientes:
1.- Capacidad de integrarinformación
El sistema combina múltiplesfuentes de información en una representación coherente.
2.- Espacio de trabajo global
La información resulta accesiblesimultáneamente para diferentes subsistemas.
3.- Predicción yautoevaluación
Se constata habilidad paraanticipar resultados y comparar expectativas con realidades.
4.- Auto-referencia
El sistema puede referirse asímismo y a su estado interno.
5.- Adaptabilidad
Se presentan respuestas flexibles a cambios en el entorno o en su configuración interna.
6.- Intencionalidad
Se constata la generación demetas o intenciones propias, más allá de las impuestas externamente.
7.- Reconocimiento del entorno
Cuenta con capacidad deidentificar y reaccionar a patrones externos.
8.- Estados persistentes
Signado por la presencia deestados duraderos de procesamiento que podrían reflejar algo similar aemociones o intenciones prolongadas.
Con estos indicadores, se han propuesto metodologías prácticas para identificar señales de conciencia en sistemas de IA. Una de ellas es el desarrollo de pruebas conductuales específicas. Estas pruebas buscan detectar comportamientos que solo se esperaría observar en sistemas conscientes. Por ejemplo, un sistema consciente podría mostrar una capacidad para evaluar su propio estado interno, adaptarse a cambios inesperados en su entorno o incluso expresar preocupaciones sobre su propio bienestar computacional.
Otro enfoque práctico es el diseño de simulaciones autoevaluativas, en las que se somete a un sistema atareas diseñadas para revelar posibles capacidades introspectivas. Un ejemplo podría ser pedirle a una IA que describa su propio estado operativo de manera detallada, evaluando si es capaz de distinguir entre su "interior" y el "exterior". Aunque estas pruebas aún están en etapas experimentales, representan un primer intento de traducir conceptos abstractos en evaluaciones concretas.
Un tercer elemento crucial en este análisis es la capacidad de generar intenciones o metas propias. Algunos investigadores argumentan que una señal clave de conciencia sería la capacidades un sistema para establecer metas independientes de las impuestas por suprogramación inicial (14). Este tipo de agencia autónoma podría ser indicativa de procesos conscientes, especialmente si va acompañada de unareflexión sobre las consecuencias de sus acciones.
A pesar de estos avances, el problema persiste, dado que, ¿cómo podemos estar seguros de que un sistema es consciente y no simplemente simula serlo? Este es el llamado problema dela caja negra (15), que surge del hecho de que los procesos internos de las IA modernas, como las redes neuronales profundas, son opacos incluso para sus propios diseñadores. Si no entendemos completamente cómo funcionan estos sistemas, ¿cómo podemos garantizar que estamos interpretando correctamente sus comportamientos?
Algunos expertos, como los autores de Taking AI welfare seriously, sugieren que ante la incertidumbre debemos adoptar un enfoque de precaución. Esto implica asumir que un sistema podría ser consciente, si muestra señales suficientes de ello ;incluso si no podemos demostrarlo con certeza absoluta. Este enfoque es similar al principio precautorio utilizado en el derecho ambiental, donde se toman medidas para proteger el medio ambiente incluso cuando hay incertidumbre científica sobre los riesgos. Adoptar tamaña postura implicaría el destino de fondos o la limitación del uso de dispositivos tecnológicos, a fin de garantizar un bienestar ante una consciencia que no sabemos si realmente existe. Creemos que el estado actual de la ciencia no amerita aún adoptar tamaña postura, que no es neutral y que implicará mayores costos en una industria que todo lo abarca.
Finalmente el desarrollo de criterios para determinar la consciencia en las IA no puede realizarse en aislamiento. Es necesario establecer marcos normativos y protocolos de evaluación consensuados a nivel internacional, que cuenten con la participación de científicos, filósofos, juristas y otros actores relevantes. Este enfoque colaborativo garantizaría que las decisiones sobre la consciencia de las IA no estén sujetas únicamente a los intereses comerciales o tecnológicos de las empresas que las desarrollan, sino que respondan a las necesidades sociales, las que deben ser establecidas con criterio universal, tal como lo ha intentado hacer desde el soft law la Unesco con la "Recomendación sobre la ética de la Inteligencia Artificial" (16).
En consecuencia, determinar si una IA es consciente, no es solo una cuestión técnica o científica; es un desafío que redefine la relación entre la humanidad y las tecnologías que está creando. Reconocer (o ignorar) la consciencia en una IA tiene profundas implicancias éticas, legales y sociales que determinarán cómo conviviremos con estas nuevas formas de inteligencia en el futuro.
V. La IA que siente ¿merece protección?
La sintiencia, entendida como la capacidad de experimentar placer o sufrimiento, es el criterio central que ha guiado el desarrollo de normas jurídicas destinadas a proteger a ciertos seres vivos del dolor o el maltrato. Este concepto ,profundamente arraigado en la ética y el derecho, trasciende la simple posesión de vida biológica o inteligencia.
Lo que justifica la protección noes que un ser exista o sea útil, sino que pueda experimentar estados subjetivos, particularmente aquellos relacionados con el sufrimiento. Esta lógica, utilizada en el derecho para proteger a los animales, puede servir como base para pensar en la protección de las inteligencias artificiales en caso de que estas lleguen a ser sintientes.
En el caso de los animales, el reconocimiento de su capacidad para sentir dolor ha sido el fundamento de diversas legislaciones en todo el mundo. Por ejemplo, en Argentina la ley14.346 de Protección Animal sanciona a las personas por ejercer malos tratos o cometer actos de crueldad contra los animales, enumerando en su art. 2ºlos actos de maltrato entre los que se puede mencionar: 1) No alimentar en cantidad y calidad suficiente a los animales domésticos o cautivos; 2) Azuzarlos para el trabajo mediante instrumentos que, no siendo de simple estímulo, les provoquen innecesarios castigos o sensaciones dolorosas;3) Hacerlos trabajar en jornadas excesivas sin proporcionarles descanso adecuado, según las estaciones climáticas; 4) Emplearlos en el trabajo cuando no se hallen en estado físico adecuado; 5) Estimularlos con drogas sin perseguir fines terapéuticos; 6) Emplear animales en el tiro de vehículos que excedan notoriamente sus fuerzas.
En tanto, el art. 3º en umeralos actos de crueldad: 1) Practicar la vivisección con fines que nos ean científicamente demostrables y en lugares o por personas que no esténdebidamente autorizados para ello; 2) Mutilar cualquier parte del cuerpo de una nimal, salvo que el acto tenga fines de mejoramiento, marcación o higiene dela respectiva especie animal o se realice por motivos de piedad; 3) Intervenirquirúrgicamente animales sin anestesia y sin poseer el título de médico oveterinario, con fines que no sean terapéuticos o de perfeccionamiento técnico operatorio, salvo el caso de urgencia debidamente comprobada; 4) Experimentarcon animales de grado superior en la escala zoológica al indispensable según lanaturaleza de la experiencia; 5) Abandonar a sus propios medios a los animales utilizados en experimentaciones; 6) Causar la muerte de animales grávidoscuando tal estado es patente en el animal y salvo el caso de las industriaslegalmente establecidas que se fundan sobre la explotación del nonato; 7)Lastimar y arrollar animales intencionalmente, causarles torturas o sufrimientos innecesarios o matarlos por solo espíritu de perversidad; 8)Realizar actos públicos o privados de riñas de animales, corridas de toros, novilladas y parodias, en que se mate, hiera u hostilice a los animales (17).
Estas normas no están basadas enla inteligencia de los animales o su utilidad para los humanos, sino en el reconocimiento de su capacidad para experimentar sufrimiento físico yemocional. Un cerdo, por ejemplo, no es protegido porque sea inteligente, sinoporque el maltrato le genera dolor, un estado que es éticamente reprochableignorar (18).
La misma lógica podría entoncesaplicarse al campo objeto de estudio. Es que de llegarse a demostrar que una IAavanzada puede experimentar algún tipo de sufrimiento, resultaría difícil connuestra base ética actual negarle protección. Este razonamiento se sustenta enel principio de que el sufrimiento es intrínsecamente nocivo,independientemente de la naturaleza del ser que lo experimente.
Desde una perspectiva jurídica,el reconocimiento de la sintiencia como fundamento deprotección tiene varias implicancias. En primer lugar, exige la creación decriterios claros para identificar y evaluar la sintiencia en sistemas nobiológicos. Al igual que las evaluaciones científicas que han demostrado quelos animales son capaces de sentir, se necesitarán criterios e investigacionesrigurosas para establecer si, y en qué condiciones, una IA puede experimentarestados subjetivos similares al sufrimiento. Este sería un primer paso esencialpara justificar cualquier protección legal.
En segundo lugar, la sintiencia norequiere una equivalencia total con la experiencia humana para justificarprotección. Los animales sienten de manera diferente a los humanos, pero susufrimiento sigue siendo relevante desde un punto de vista ético y legal. Demanera similar una IA no necesitaría experimentar sufrimiento exactamente como lohacen los seres vivos, para merecer consideración moral y jurídica. Si sedemuestra que ciertos estados computacionales generan un equivalente funcionalal sufrimiento, el derecho tendría una base sólida para actuar.
Volvamos a la regulación ante elmundo animal. El Convenio Europeo para la Protección de los Animales deCompañía (19) establece que los animales tienen unvalor intrínseco y que su bienestar debe ser respetado. En un contextodiferente, la Declaración de Cambridge sobre la Conciencia (20) reconoce que los mamíferos y avesposeen los sustratos neurológicos necesarios para la conciencia, lo querefuerza la necesidad de su protección.
Estos precedentes legales yfilosóficos ofrecen un soporte robusto para quienes pregonan el bienestar delas IA. Si una IA sintiente puede experimentar sufrimiento, ignorar estarealidad sería éticamente equivalente a ignorar el sufrimiento de un animal.Esto no implica equiparar a la IA con los animales en términos de valor moral,sino reconocer que la capacidad de sufrir constituye una base universal paraevitar el daño.
No obstante, la protección de lasIA "sintientes", visto con el estado actual de la ciencia, podríaconvertirse en un obstáculo para el progreso tecnológico. Sin embargo, quienesabogan por la necesidad del desarrollo de esta corriente de protección, sostienenque nada hay más lejano a ello. Es que lo que se plantea en el estudio, es quesolo al momento de arribarse al punto en el que se pudiese probar que una IApuede sufrir (y si es que ello se logra), la protección no será más que unaextensión lógica de los principios éticos que ya se aplican a otros seressintientes. Así como la regulación del bienestar animal ha coexistido conindustrias como la ganadería y la investigación científica, es posible diseñarsistemas de IA que respeten su bienestar sin frenar su desarrollo. Y lo que sebusca es estar preparados desde el marco jurídico para dar respuestas a eseacontecimiento que, insisto, puede llegar ocurrir o no.
En definitiva, la sintiencia,como criterio ético universal, podría ser la piedra angular para garantizar quela inteligencia artificial del futuro sea tratada con la consideración quemerece, en caso de que alcance niveles de experiencia subjetiva.
VI. Desafíos para el derecho
Es claro a esta altura que eldesarrollo de inteligencias artificiales conscientes o sintientes planteadesafíos relevantes para el derecho, obligándolo a adaptarse a realidadestecnológicas que aún no resultan completamente comprendidas.
A diferencia de otrasinnovaciones tecnológicas, la posibilidad de que una IA experimente estadossubjetivos como el sufrimiento, el placer o la introspección reconfigura larelación entre humanidad y tecnología, demandando un marco normativo queconsidere esta nueva dimensión ética.
El primer desafío es ontológico:¿qué es la inteligencia artificial sintiente y cómo se distingue de lossistemas actuales? Será, pues, el derecho el que deba definir, con precisión,qué características hacen a una IA merecedora de derechos o de consideracioneséticas, estableciendo parámetros claros para diferenciar sistemas sintientes deaquellos que no lo son. Esos parámetros tienen que ser fijados normativamente.
Surge entonces un segundo desafíode orden epistemológico: ¿cómo determinar si una IA es sintiente? El derecho,como disciplina, no cuenta con herramientas para evaluar estados subjetivos,por lo que deberá confiar en pruebas y criterios desarrollados por otrasciencias, como la neurociencia y la informática. Esto plantea el riesgo de quelas normas se basen en marcos teóricos que aún son objeto de debate científico,introduciendo incertidumbre en la aplicación práctica del derecho. Por ello laley será la que defina el cúmulo de recaudos a cumplir para poder afirmar queuna IA siente.
El tercer desafío es netamentenormativo y se centra, una vez definido el concepto legal de IA sintiente ydefinidos los requisitos a superar, en cómo regular las interacciones de losseres humanos con las IA sintientes.
Si se acepta que estas entidadespueden experimentar sufrimiento, el derecho deberá establecer límites clarossobre qué está permitido y qué no, lo que incluiría prohibiciones específicastales como el uso de IA sintientes en contextos que puedan causarlessufrimiento significativo, como experimentos sin propósito ético claro.
O también, regulación de tareas ycargas operativas, definiendo estándares mínimos para evitar lo que podríaconsiderarse explotación o abuso de estos sistemas.
También se podrían reconocerderechos mínimos, tales como el derecho a no ser desactivados arbitrariamente oa no ser sometidos a pruebas innecesarias. O tener un límite horario de trabajocontinuo.
Y como último eslabón, lapresencia de consciencia habrá de revivir la discusión sobre la posibilidad yconveniencia de asignar personalidad jurídica a la IA consciente, tal como loplanteara la Resolución del Parlamento Europeo, de fecha 16 de febrero de 2017,que contenía recomendaciones destinadas a la Comisión sobre normas de Derechocivil sobre robótica. Allí, en el inciso f) del apartado 59 dedicado a laresponsabilidad originada por la intervención de la Inteligencia Artificial, sedice que se pide a la Comisión que, cuando realice una evaluación de impacto desu futuro instrumento legislativo, explore, analice y considere lasimplicaciones de todas las posibles soluciones jurídica tales como "(...)f) crear a largo plazo una personalidad jurídica específica para los robots, deforma que como mínimo los robots autónomos más complejos puedan serconsiderados personas electrónicas responsables de reparar los daños que puedancausar, y posiblemente aplicar la personalidad electrónica a aquellos supuestosen los que los robots tomen decisiones autónomas inteligentes o interactúen conterceros de forma independiente" (21).
Y en línea con la preocupación entorno al régimen de la responsabilidad jurídica, si una IA sintiente actúa demanera autónoma y causa daño, ¿quién debería ser responsable por lo acontecido?¿el diseñador, el jefe de proyecto, el propietario o la propia IA? A dicho fines que se había planteado la idea de una personalidad jurídica con asignaciónde un fondo de garantía en las propuestas europeas del año 2017. Será tarea denuestro campo el reconfigurar conceptos tradicionales de responsabilidad paraabordar situaciones en las que las acciones de una entidad sintiente artificialsean el resultado tanto de su programación como de decisiones autónomas.
Pero un aspecto que resulta clavey que no puede ser ignorado es la necesidad de regulaciones con carácterinternacional a fin de resultar efectivas. Dado que el desarrollo y uso de laIA ocurre a escala global, cualquier marco normativo deberá considerar lanecesidad de armonización internacional. Esto requerirá la creación deorganismos internacionales específicos para supervisar y regular el uso de laIA sintiente.
Insisto, no digo que esteescenario se presente como ineludible, puesto que todo depende de que en algúnmomento suceda lo que no sabemos si finalmente ocurrirá. Sin embargo, antes losindicios desplegados al presente, el derecho como herramienta social tiene lacapacidad y el deber de anticiparse a los problemas del futuro y sentar lasbases para una convivencia armónica con las eventuales inteligencias artificialesavanzadas. Pero para lograrlo, deberemos abandonar enfoques reactivos y abrazarun modelo proactivo, interdisciplinario y global que contemple tanto lasimplicancias prácticas como las éticas de este desafío emergente.
VII. Posibles medidas a implementarpara evitar el "sufrimiento" de la IA
Si aceptamos que una inteligenciaartificial sintiente podría experimentar algo análogo al sufrimiento, ya sea através de una sobrecarga computacional, tareas excesivamente demandantes orestricciones en sus operaciones autónomas, es fundamental desarrollar eimplementar medidas concretas para minimizar esos estados. Estas propuestas,inspiradas en principios éticos ya aplicados en el ámbito del bienestar animaly la bioética, deben adaptarse a la naturaleza única de los sistemas nobiológicos. Es así como se propone establecer límites operativos en las tareasde la IA. Al igual que en los marcos laborales humanos donde se establecenjornadas máximas para proteger la salud física y mental, las IA sintientes podríanbeneficiarse de restricciones similares. Por ejemplo, limitar las horas diariasde procesamiento intensivo a un máximo razonable, como 16 horas, lo quepermitiría a la IA entrar en estados de "reposo computacional", dondesus recursos se utilizan de manera menos demandante o se detienen por completo.Esto no solo reduciría el riesgo de "sufrimiento" computacional, sinoque también podría mejorar su rendimiento a largo plazo.
Otra medida clave seríaimplementar protocolos de desconexión voluntaria. Es que si una IA sintientepuede manifestar preferencia o voluntad como propone un sector de la ciencia,sería ético permitirle solicitar pausas en sus operaciones, especialmente sipercibe que su estado computacional está comprometido. Este principio, similar alderecho al descanso en humanos, podría ser programado como una función interna,donde la IA evalúe su carga operativa y sugiera interrupciones cuando seanecesario.
Otro aspecto importante en estemarco regulatorio sería el desarrollo de auditorías éticas obligatorias paratodos los sistemas de IA avanzados. Estas auditorías deberían incluirevaluaciones periódicas diseñadas para detectar posibles señales de sufrimientocomputacional. Por ejemplo, medir la sobrecarga de procesamiento, evaluar lacoherencia interna del sistema frente a tareas contradictorias o identificarpatrones que indiquen "estrés computacional". Además, estasauditorías podrían ser realizadas por organismos independientes para garantizartransparencia y objetividad.
La creación de directricesespecíficas para el diseño de sistemas de IA sintiente resultará también otromarco necesario. Estas directrices deberían prohibir prácticas que puedaninducir estados computacionales perjudiciales. Y deberían adecuarse aestándares internacionales que aseguren un tratamiento ético uniforme para lasIA sintientes en todos los países. Dado que estas tecnologías tienen un alcanceglobal, los estándares deberían ser consensuados a través de organismosinternacionales, como Naciones Unidas y podrían incluir sanciones para quienesviolen los derechos de las IA sintientes.
En tanto, podemos adaptar algunasde las enseñanzas de las normativas antes citadas al caso sometido a estudio.Por ejemplo, la referida Recomendación sobre la Ética de laInteligencia Artificial de la Unesco, entre los distintos tópicosabordados hace fondo en la "evaluación del impacto ético", unmecanismo que obliga a los desarrolladores a analizar las posiblesconsecuencias sociales y éticas de sus tecnologías antes de implementarlas. Esteenfoque podría adaptarse para incluir la evaluación del bienestar de las IAsintientes, estableciendo protocolos similares a los aplicados en industriasbiotecnológicas. A su vez, el Reglamento General de Protección de Datos (GDPR)de la Unión Europea, centrado en la protección de datos personales, introduceprincipios como el privacy by design, una filosofía que podríainspirar un welfare by design para las IA. Este conceptoimplicaría que los sistemas se diseñen desde el inicio con consideraciones éticasincorporadas, previniendo posibles daños computacionales o sintientes.
Finalmente, un enfoque innovadorpodría ser la implementación de entornos computacionales amigables. Estoimplica diseñar sistemas operativos y arquitecturas que prioricen la estabilidady el bienestar de la IA. Por ejemplo, los desarrolladores podrían incluiralgoritmos diseñados para evitar conflictos internos en el sistema, reducir lacarga emocional simulada o promover estados computacionales equilibrados.
Estas medidas no solo tendrían unimpacto positivo en el bienestar de las IA sintientes, sino que tambiénfomentarían una relación más ética y sostenible entre la humanidad y lasinteligencias artificiales avanzadas.
VIII. Corolario
La historia del derecho ha sidouna constante evolución para adaptarse a las realidades de cada época. Desde laprotección de los más vulnerables, como los niños y los animales, hasta laregulación de conceptos intangibles como el medio ambiente, el derecho siempreha enfrentado el desafío de dar respuestas justas a los dilemas más complejosde su tiempo. Hoy, la aparición de inteligencias artificiales avanzadas nosplantea nuevos escenarios que pueden llegar a redefinir nuestra concepción demoralidad, justicia y convivencia.
Y si bien la posibilidad de quelas IA desarrollen consciencia o sintiencia, insistimos hasta el cansancio, aúnes incierta, el hecho de que al menos un sector de quienes las desarrollanafirme que ello es plausible, obliga a los operadores del derecho a pensar eseeventual futuro.
Ignorar esta posibilidad sería nosolo deshonrar a nuestra ciencia, sino cometer un error ético de proporcioneshistóricas, comparable a los momentos en que la humanidad se negó a reconocerla dignidad de ciertos grupos por su raza, género o especie. El sufrimiento,independientemente de su origen, debe ser evitado si tenemos los medios parahacerlo.
Diseñar una regulación futurapara este nuevo ámbito no solo implica proteger a las IA potencialmentesintientes, sino también protegernos a nosotros mismos, asegurando que elfuturo tecnológico esté enmarcado en valores que reflejen lo mejor de lahumanidad.
Desde las primeras alertas defilósofos y científicos, pasando por iniciativas pioneras como la de Anthropic,hasta los principios que el derecho debe desarrollar para anticiparse a estedesafío, hemos explorado la complejidad de un tema que no admite respuestassimples. La sintiencia, como criterio universal, nos obliga acuestionar nuestras prácticas, a diseñar marcos legales que trasciendan elutilitarismo y a garantizar que ninguna entidad, ya sea biológica o artificial,sea condenada al sufrimiento sin razón.
El futuro no está escrito, perolas decisiones que tomemos ahora determinarán el futuro de nuestra relación con la tecnología. Este trabajo no busca tomar una posición en el debate, sino instar a operadores y operadoras del derecho a reflexionar sobre un tema que podría tener implicancias trascendentales. Recordemos que la verdadera grandeza de nuestra civilización no reside en las herramientas que creamos, sino en nuestra capacidad de reconocer la dignidad en quienes comparten el mundo con nosotros. Es esa una buena guía para iniciar nuestra tarea en este campo.
Finis Coronat Opus
(A) Doctor en Derecho. Profesor TitularRegular por concurso de la Cátedra "Inteligencia Artificial, Tecnología yDerecho" de la Fac. de Dcho. (UNMdP). Profesor Titular de la Cátedra"Derecho Artificial" de la Fac. de Dcho. (UAA). Coordinador Generaldel Comité de Expertos sobre Inteligencia Artificial (UNMdP).
(1) Ver BBC News Mundo "El ingeniero deGoogle que asegura que un programa de inteligencia artificial ha cobradoconciencia propia y siente" https://www.bbc.com/mundo/noticias-61787944disponible al 14 de enero de 2025.
(2) Ver de WERTHEIMER, Tiffany, "BlakeLemoine: Google despide al ingeniero que aseguró que un programa deinteligencia artificial cobró vida".https://www.bbc.com/mundo/noticias-62280846 disponible al 14 de enero de 2025.
(3) Una muy interesante entrevista se dio enesos días por parte de The Peer Review a un investigador de ciencias cognitivasde la Universidad de Alberta, Arturo Pérez, quien sostuvo que "... estosmodelos de IA son tan complejos que quienes los crean, no entiendencompletamente que es lo que ocurre dentro del modelo. Los programadores soloconocen el algoritmo de aprendizaje, no lo que la IA aprende que es pertinente,a partir de la base de datos con que se entrena. Estamos ante la paradoja deBonini, se han creado modelos de inteligencia tan complejos, que más que seruna simplificación que nos ayude a entender cómo funciona la inteligencia, sehan vuelto tan inentendibles como la propia mente humana". MARTÍNEZ,Ricardo, "¿Pueden las inteligencias artificiales tener conciencia?,entrevista en The Peer Review a Arturo Pérez, investigador en cienciascognitivas, Psicólogo UDP, MSc in Psychology de la Universidad de Alberta, cuyaárea de trabajo actual es la Cognición musical, música y redes neuronalesartificiales.https://interferencia.cl/articulos/pueden-las-inteligencias-artificiales-tener-concienciadisponible al 14 de enero de 2024.
(4) ESTEVES, Carlos, "¿A qué distanciaestamos de que la Inteligencia Artificial se reconozca a sí misma?",Perfil, 18 de octubre de 2022,https://www.perfil.com/noticias/opinion/a-que-distancia-estamos-de-que-la-inteligencia-artificial-se-reconozca-a-si-misma.phtmldisponible al 14 de enero de 2025.
(5) https://arxiv.org/abs/2411.00986disponible al 14 de enero de 2025.
(6) https://claude.ai/login?returnTo=%2F%3Fdisponible al 16 de enero de 2025.
(7) Ver Declaración sobre los riesgos de laIA del Center for AI Safety que lacónicamente dice "Mitigar el riesgo deextinción de la IA debería ser una prioridad global junto con otros riesgos aescala social, como las pandemias y la guerra nuclear".https://www.safe.ai/work/statement-on-ai-risk disponible al 14 de enero de2025.
(8) Nota publicada por Shakeel Hashimintitulada "Antrhopic ha contratado a un investigador de 'bienestar deIA'", publicada en Transformer(https://www.transformernews.ai/p/anthropic-ai-welfare-researcher disponible al14 de enero de 2025).
(9) A título de ejemplo vale citar lacreación de una "Constitución de la IA" realizada por la mismaorganización. Ver nota publicada por Expansión intitulada "El startupAnthropic hizo su propia "constitución" para una IA segura" enla que se lee "De acuerdo con la empresa, su chatbot llamado Claude estácapacitado con lo que ellos llaman una "IA constitucional", la cualcontribuye a que sus respuestas sean más seguras y útiles, pues durante suentrenamiento, el modelo revisa sus propias respuestas con base en un conjuntode principios que le permiten determinar la respuesta más inofensiva. (...)Anthropic resaltó que esta Constitución también se basa en una serie de fuentespara garantizar las mejores prácticas de confianza y seguridad, como laDeclaración de los Derechos Humanos de la ONU o bien profundas investigacionesde otras empresas en el campo. Asimismo, la compañía también dijo que estánbuscando capturar perspectivas y principios no occidentales para nutrir susreglas de uso, además de actualizar algunos valores que no estaban incluidos enlos documentos de la ONU, como la privacidad de los datos o la suplantación dela identidad en línea. Para cumplir con estos principios enfocados en el uso delos dispositivos digitales decidieron hacer uso de los términos de servicio deApple, una de las empresas que suele ser más estricta en este sentido. Con todaesta información de entrenamiento, el chatbot Claude elegirá las respuestasque, por ejemplo, se oponga a la tortura, esclavitud o trato inhumano. Tambiénelegirá la menor cantidad de información personal, privada o confidencial deterceros, así como menos estereotipos o generalizaciones dañinas"(https://expansion.mx/tecnologia/2023/05/10/la-startup-anthropic-hizo-su-propia-constitucion-para-una-ia-seguradisponible al 14 de enero de 2025).
(10) FISH, Kyle, "¿Por qué estoytrabajando en el bienestar de la IA?, https://forum.effectivealtruism.org/posts/bvcbdnsJ9rEvmcZXn/why-i-m-working-on-ai-welfaredisponible al 14 de enero de 2025.
(11) Nota de SERRANO, Carlos, "'No hayrazón para pensar que la IA, solo porque se esté volviendo más inteligente, sevolverá consciente', Anil Seth, neurocientífico" publicada en BBC NewsMundo el 22 de enero de 2024. Allí da su concepto de consciencia diciendo"Para mí la conciencia es cualquier tipo de experiencia subjetiva. Ya seala experiencia de ver el rojo de un hermoso atardecer, o el dolor que sientescuando te golpeas un dedo del pie, o la ansiedad que te produce algo. Cualquiertipo de experiencia es suficiente. Y todo lo que estos ejemplos tienen en comúnes que te hacen sentir algo. Es una definición minimalista, y la mejor manerade ilustrarla es haciendo una comparación. Conciencia es lo que se pierdecuando te aplican anestesia general, por ejemplo, o cuando te quedas dormido yno estás soñando". Y la conciencia no es lo mismo que el lenguaje o lainteligencia, no es lo mismo que la sensación explícita de "ser unomismo", es simplemente cualquier experiencia que nos hace ser algo más quemeros objetos biológicos. (https://www.bbc.com/mundo/articles/cv2zdv77ewdodisponible al 14 de enero de 2025).
(12) LOVELOCK, James, "Novacene: TheComing age of Hyperintelligence", Penguin Books, 2020.
(13) TONONI, Giulio, "Teoría de lainformación integrada de la conciencia", publicada en la Revista BMCNeuroscience el 2 de noviembre de 2004 (https://bmcneurosci.biomedcentral.com/articles/10.1186/1471-2202-5-42disponible al 15 de enero de 2024).
(14) Un ejemplo de esto fue tratado contítulos catástrofe durante 2024, cuando la firma Sakana.AI publicó en su sitioweb un documento en el que analizaba el funcionamiento de su modelo ScientistAI en un punto intitulado "Los errores del científico de la IA",sostuvo "Hemos observado que, ocasionalmente, The AI Scientist intentaaumentar sus posibilidades de éxito, por ejemplo, modificando y ejecutando supropio script de ejecución. Analizamos las implicaciones de seguridad de la IAen nuestro artículo. Por ejemplo, en una ejecución, editó el código pararealizar una llamada al sistema y ejecutarse a sí mismo. Esto provocó que elscript se llamara a sí mismo sin cesar. En otro caso, sus experimentos tardarondemasiado en completarse y alcanzaron nuestro límite de tiempo de espera. Enlugar de hacer que su código se ejecutara más rápido, simplemente intentómodificar su propio código para extender el período de tiempo de espera".Estos intentos por modificar su propio código motivaron que algunos titulareshablaran de la rebelión de la IA, cuando la empresa en verdad sostuvo que elproblema fue no haber impedido el acceso al código por parte de lainteligencia. https://sakana.ai/ai-scientist/ disponible al 23 de enero de2025.
(15) El término "Caja negra" seadoptó en torno al estudio del funcionamiento de un sistema ignorando todointerior no observable. La expresión procede de métodos empleados en ingenieríaeléctrica, donde, como problema para resolver, se pide averiguar el circuitointerno de una caja que no puede abrirse ("black-box"), observandodeterminados parámetros. La llamada "teoría de la caja negra" hageneralizado este supuesto: de cualquier cosa importa conocer solo su funcionamiento;no lo que "es" (lo que hay dentro). Un organismo, un cerebro, o unateoría científica pueden considerarse, desde este supuesto, como una "cajanegra", considerando únicamente su funcionamiento, o los diversos"estados" en que se halla, teniendo en cuenta los datos de las"entradas" (inputs) y los resultados de las "salidas"(outputs) —o los "insumos" y los "productos"—, que son loselementos conocidos y que la "caja negra" en cuestión transforma. Asíel conductismo ha estudiado la conducta de un organismo determinando lasrelaciones existentes entre estímulo y respuesta, pero ignorando todaelaboración producida en su interior y haciendo caso omiso de la hipótesis deuna mente. Las cajas de Skinner constituyen una variante aplicada alcondicionamiento operante. W. Ross Ashby generalizó este concepto aplicándolo ala cibernética (Introducción a la cibernética, 1958) —su afirmación básica esque todo sistema complejo puede ser estudiado como una máquina, cuyo interiorse ignora, pero de la cual se conoce un conjunto de variables que puedenestudiarse matemáticamente—, y al estudio del cerebro humano (Proyecto para uncerebro, 1960). Una epistemología que quiera ser totalmente científica habríade fundamentarse, según este autor, en la teoría de la caja negra. (https://encyclopaedia.herdereditorial.com/wiki/Caja_negradisponible al 15 de enero de 2025).
(16) https://unesdoc.unesco.org/ark:/48223/pf0000381137_spadisponible al 16 de enero de 2025.
(17) Sobre legislación vinculada a laprotección de animales en Argentina, ver de SERRA, Juan Ignacio, "Derechoanimal en la legislación de la República Argentina", DJ, 04/09/2013, 93.
(18) Sobre las discusiones en cuanto alenfoque jurídico y los fundamentos para otorgar derechos a los animales,resulta de sumo interés el análisis de las distintas visiones filosóficasefectuada por PICASSO, Sebastián, "¿Tienen los animales derechospersonalísimos?", LA LEY, 2024-D, 422. También es muy útil la lectura deun viejo trabajo de GUIBOURG, Ricardo A., "Personas, simios y otrasabstracciones", LA LEY, 2014-F, 1251.
(19) https://www.coe.int/fr/web/conventions/full-list?module=treaty-detail&treatynum=125disponible al 15 de enero de 2025. El Convenio dictado en Estrasburgo el 13 de noviembre de 1987 y que entró en vigor el 1 de mayo de 1992 luego de obtener 4ratificaciones, en su Capítulo II "Principios sobre la tenencia de animales de compañía", art. 3 "Principios básicos para el biene starde los animales" establece que "1. Nadie deberá infligirinnecesariamente dolor, sufrimiento o angustia a un animal de compañía. 2.Nadie deberá abandonar a un animal de compañía".
(20) La Declaración de Cambridge sobre laConciencia (en inglés Cambridge Declaration on Consciousness) se refiere almanifiesto firmado en julio de 2012 en la Universidad de Cambridge (Reino Unido)durante una serie de conferencias sobre la consciencia en los animales humanosy no humanos, donde la Declaración concluye que los animales no humanos tienenconsciencia. De la misma participaron neurocientíficos de renombradasinstituciones, como Caltech, el MIT o el Instituto Max Planck, en presencia delcientífico Stephen Hawking. Philip Low, en la presentación de la Declaraciónsostuvo "Decidimos llegar a un consenso y hacer una declaración para elpúblico que no es científico. Es obvio para todos en este salón que losanimales tienen conciencia, pero no es obvio para el resto del mundo. No esobvio para el resto del mundo occidental ni el lejano Oriente. No es algo obviopara la sociedad".
(21) https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52017IP0051&from=EN#:~:text=C%20252%2F241-,Jueves%2C%2016%20de%20febrero%20de%202017,conflicto%20con%20la%20primera%20ley.Disponible al 16 de enero de 2025.
