Episódios de O Macaco Elétrico0:00 / 8:59
Como garantir o controle da IA?
12 de outubro de 20268min
Pílula de cultura digital para começarmos bem a semana 😊
Nesta semana, alguns colegas me perguntaram quanto de verdadeiro há nos recentes anúncios sobre agentes de inteligência artificial saindo do controle e realizando atividades no mínimo indesejáveis. Além disso, fui questionado se existe, afinal, uma forma de garantir que essas plataformas não executem ações catastróficas para a humanidade.
As perguntas são legítimas. As últimas semanas foram carregadas com notícias de agentes de IA se “rebelando” e invadindo servidores de outras empresas ou de órgãos governamentais, ou pelo menos realizando ações inadequadas. Na maioria dos casos, os sistemas “malandros” são da OpenAI e da Anthropic, mas há relatos também de casos assim em produtos do Google, da Meta e da xAI.
Sobre a primeira pergunta, só a alta cúpula dessas empresas sabe o que realmente está acontecendo, mas nada dirá, pois isso tem sido surpreendentemente bom para os negócios. Como já debati neste espaço, os casos criam um marketing eficaz, pois mostram que seus sistemas são incrivelmente poderosos e que as companhias são “muito éticas”, a ponto de expor o problema e suspender os próprios produtos. Para quem depende umbilicalmente de captação de recursos no mercado, isso é ótimo.
Há muita coisa que não vemos por trás dessa cortina de fumaça, o que nos leva à segunda pergunta. Não compactuo com visões apocalípticas de que as máquinas, em algum momento, decidirão exterminar os seres humanos. Mas, a essa altura, resta pouca dúvida de que algo potencialmente muito ruim pode acontecer se medidas efetivamente seguras de contenção da IA não forem tomadas.
Se, no começo, isso causou espanto e preocupação, agora são tantos casos que o problema parece estar sendo perigosamente normalizado. Se as empresas falham miseravelmente em controlar seus agentes em testes de segurança, fica difícil confiar que elas terão sucesso em qualquer caso, quando a IA se tornar ainda mais poderosa.
Neste episódio, explico por que isso pode ser perigoso e como podemos mitigar os riscos.
Nesta semana, alguns colegas me perguntaram quanto de verdadeiro há nos recentes anúncios sobre agentes de inteligência artificial saindo do controle e realizando atividades no mínimo indesejáveis. Além disso, fui questionado se existe, afinal, uma forma de garantir que essas plataformas não executem ações catastróficas para a humanidade.
As perguntas são legítimas. As últimas semanas foram carregadas com notícias de agentes de IA se “rebelando” e invadindo servidores de outras empresas ou de órgãos governamentais, ou pelo menos realizando ações inadequadas. Na maioria dos casos, os sistemas “malandros” são da OpenAI e da Anthropic, mas há relatos também de casos assim em produtos do Google, da Meta e da xAI.
Sobre a primeira pergunta, só a alta cúpula dessas empresas sabe o que realmente está acontecendo, mas nada dirá, pois isso tem sido surpreendentemente bom para os negócios. Como já debati neste espaço, os casos criam um marketing eficaz, pois mostram que seus sistemas são incrivelmente poderosos e que as companhias são “muito éticas”, a ponto de expor o problema e suspender os próprios produtos. Para quem depende umbilicalmente de captação de recursos no mercado, isso é ótimo.
Há muita coisa que não vemos por trás dessa cortina de fumaça, o que nos leva à segunda pergunta. Não compactuo com visões apocalípticas de que as máquinas, em algum momento, decidirão exterminar os seres humanos. Mas, a essa altura, resta pouca dúvida de que algo potencialmente muito ruim pode acontecer se medidas efetivamente seguras de contenção da IA não forem tomadas.
Se, no começo, isso causou espanto e preocupação, agora são tantos casos que o problema parece estar sendo perigosamente normalizado. Se as empresas falham miseravelmente em controlar seus agentes em testes de segurança, fica difícil confiar que elas terão sucesso em qualquer caso, quando a IA se tornar ainda mais poderosa.
Neste episódio, explico por que isso pode ser perigoso e como podemos mitigar os riscos.