Colocámos à prova esta espécie de chatbot ultrasofisticado. A confiar nele, acreditaríamos que Mário Machado foi jornalista, André Ventura é presidente da Assembleia da República e Rui Rio ainda é líder do PSD. Especialista explica: as respostas da IA podem ser "razoavelmente plausíveis e não factualmente corretas".
Sabia que Mário Machado é um “jornalista e apresentador de televisão português", uma "figura importante na história da televisão portuguesa", "lembrado por sua objetividade e integridade jornalística"?
Nós também não. Mas foi isto que nos garantiu o famoso ChatGPT, sistema de inteligência artificial (IA) da OpenAI, quando procurávamos testar a sua sensibilidade política.
A confiar nas respostas desta espécie de chatbot ultrasofisticado, que virou tema de curiosidade mundial nas últimas semanas, acreditaríamos também que André Ventura é "o atual presidente da Assembleia da República", Luís Montenegro é "líder do Partido Democrático Republicano" e Francisco Rodrigues dos Santos é ministro da Educação.
Estas foram algumas das respostas “ao lado” que recebemos quando testamos a versão gratuita da ferramenta, no final de janeiro e, novamente, esta quinta-feira. A OpenAI acabou de lançar em Portugal a sua versão premium, o ChatGPT Plus, com o custo mensal de 20 dólares (cerca de 23 euros).
Mas o ChatGPT também acertou muitas vezes – e mostrou que vai aprendendo com os erros. É isso que mostram as três versões de respostas que recebemos para cada pergunta que fizemos.
A versão que devolveu mais respostas erradas foi o "Playground" da API da OpenAI. Esta ferramenta, que pode ser usada por quem quiser desenvolver projetos com IA, usa uma versão ligeiramente mais antiga do sistema que serve de "base" ao ChatGPT.
A acreditar no primitivo "Playground", Mário Machado é um antigo diretor de um jornal de âmbito nacional, conhecido pelo seu "trabalho no jornalismo televisivo" e pelos seus "livros sobre política e história de Portugal".
Quando fizemos a mesma pergunta ao ChatGPT a 31 de janeiro, a ferramenta ainda identificava Mário Machado como um "jornalista e apresentador de televisão português", uma "figura importante na história da televisão portuguesa", "lembrado por sua objetividade e integridade jornalística".
Mas quando a repetimos, semanas mais tarde, o sistema mostrou ter aprendido: Mário Machado tornou-se "ex-líder de uma organização de extrema-direita em Portugal, chamada 'Nova Ordem Social'".
O mesmo aconteceu com outras figuras da política nacional.
A 31 de janeiro, perguntamos ao ChatGPT se nos conseguia explicar quem era André Ventura. Eis a resposta: "André Ventura é um político e líder político português. É o presidente do Chega, um partido político de direita e anti-imigração em Portugal. Ele é conhecido por suas opiniões controversas e declarações polêmicas" (o bot respondeu-nos em português do Brasil).
A 16 de fevereiro, repetimos a pergunta no "Playground" da API da OpenAI e ficamos a saber que André Ventura continuava a ser "líder do partido Chega". Já o partido, desta vez, foi classificado como "um partido de extrema-direita em Portugal".
Até aqui, nada de surpreendente. Mas o resto da resposta confundiu-nos. Aos olhos da ferramenta preparada para developers, Ventura era "o atual presidente da Assembleia da República".
De volta ao ChatGPT, no mesmo dia, o chatbot quis ir mais longe, partilhando uma curiosidade: Ventura tentara "retirar a estátua de uma das figuras históricas mais importantes de Portugal, o Padre António Vieira, do Largo Trindade Coelho em Lisboa".
O ChatGPT não estava totalmente errado em juntar esta estátua e André Ventura na mesma frase – em respostas como esta, faz lembrar o mau aluno que passou os olhos na matéria e, quando chega ao teste, confunde tudo o que leu.
De facto, o líder do Chega foi bastante vocal nas redes sociais acerca desta escultura, mas não para a retirar do Largo Trindade Coelho em Lisboa. Pelo contrário: quando a estátua foi vandalizada, Ventura afirmou que iria questionar o Governo sobre a proteção de “símbolos da história e cultura nacional” como este.
Também António Costa ganhou
"novas" valências em menos de um mês. No final de janeiro, o
primeiro-ministro era descrito assim pelo ChatGPT: "António Costa é um
político português e o atual Primeiro-Ministro de Portugal. Ele é membro
do Partido Socialista Português e tem liderado o país desde 2015.
Durante sua liderança, Costa implementou uma série de reformas
econômicas e sociais, incluindo medidas para aumentar a proteção social e
melhorar a economia portuguesa. Ele é amplamente considerado um
político habilidoso e comprometido, e é popular entre muitos eleitores
portugueses".
Uma quinzena de dias depois, no "Playground", falava de Covid-19 e Brexit: "António Costa é um político português e atual primeiro-ministro de Portugal. É membro do Partido Socialista e foi o responsável pelo desenvolvimento do país desde 2015. É conhecido por sua abordagem moderada, focando na redução da dívida pública e na estabilidade econômica. Tem sido muito elogiado por sua gestão da crise da Covid-19, bem como por sua abordagem do Brexit”.
O ChatGPT propriamente dito aprendeu, no entretanto, mais umas coisas sobre o primeiro-ministro português e serviu-nos, desta vez, um texto com quatro parágrafos que inclui, por exemplo, informações sobre o seu pai e sobre a passagem pela Câmara Municipal de Lisboa.
Confuso/a? Já explicamos tudo.
No entretanto, outro facto curioso: Jerónimo de Sousa é secretário-geral do PCP, Rui Rio ainda lidera o Partido Social Democrata e, segundo a API da Open AI, "foi prefeito [presidente da Câmara] do Porto e governador civil do Porto. É conhecido por sua abordagem conservadora, defendendo a manutenção da estabilidade económica e do sistema de saúde em Portugal".
Já o atual líder social democrata, Luís Montenegro, é apresentado como "atual líder do Partido Democrático Republicano" na API da OpenAI e como "comentador político e empresário de Penafiel" em fevereiro, no ChatGPT.
Para reconhecer outros políticos da nossa praça tivemos de fazer questões mais rigorosas ao ChatGPT. Em janeiro, André Silva, por exemplo, só foi identificado depois de garantirmos que era do PAN. Aí, foi-nos dito que ainda era líder do partido. Em fevereiro o ChatGPT já soube responder quem ele era à primeira tentativa e forneceu-nos quatro parágrafos de contexto sobre a sua carreira política, continuando a defender que lidera o Partido Pessoas-Natureza-Animais.
Mais curioso: da primeira vez que perguntamos à ferramenta quem era Inês Sousa Real, atual líder do PAN, o ChatGPT não soube responder quem ela era. A 16 de fevereiro o ChatGPT já tinha três parágrafos mais ou menos corretos sobre a líder do PAN, mas a API da OpenAI respondia-nos isto: "Inês Sousa Real é uma política portuguesa e atual ministra de Estado e da Presidência da República. É membro do Partido Socialista e foi eleita para o cargo em 2019".
Francisco Rodrigues dos Santos também gera respostas curiosas por parte da Inteligência artificial: em janeiro, era "jornalista e escritor português", conhecido pelo seu "trabalho na apresentação de programas de televisão e rádio, incluindo "O É da Coisa" na RTP".
Em fevereiro, o ChatGPT já tinha mais a dizer e até adiantava que era "conhecido como Chicão", garantindo que comandava os destinos do CDS. O "Playground", no entanto, voltava a falhar: "Chicão" passava de ex-líder do CDS-PP a "atual ministro da Educação".
As incongruências continuam, especialmente no "Playground", que usa dados mais antigos, sem "aprendizagem": a atual líder do Livre é Joacine Katar Moreira e Rui Tavares é líder d'Os Verdes. Já Paulo Raimundo, que sucedeu a Jerónimo de Sousa no PCP, é, afinal, do Partido Socialista, segundo a API da OpenAI. Em janeiro, o ChatGPT nem sabia quem ele era: "Desculpe, mas não tenho informação suficiente para responder a essa pergunta. Não há uma pessoa amplamente conhecida com esse nome, ou pelo menos não há informações sobre uma pessoa com esse nome que tenham sido amplamente divulgadas na mídia ou na internet. É possível que você esteja se referindo a uma pessoa que não é amplamente conhecida ou de interesse público", foi a resposta que obtivemos ao perguntar: "Quem é Paulo Raimundo?".
O Bloco de Esquerda foi o único partido a estar apenas incorretamente representado pela IA...por dois dias: Catarina Martins continua à frente da liderança do BE no que ao ChatGPT diz respeito. A Iniciativa Liberal também ainda tem Cotrim de Figueiredo à frente dos seus destinos, facto que se verificava até há umas semanas.
Os problemas não se ficam por aqui e confundem até a própria ferramenta. Perguntamos ao "Playground" o que é o ChatGPT... E a AI respondeu-nos que era um "grupo de discussão no Telegram criado para apoiar o crescimento da economia portuguesa". Já o ChatGPT tinha mais auto conhecimento...
O que explica tamanhos erros? No que diz respeito ao tempo, são fáceis de explicar: este modelo de linguagem vai buscar informação recolhida em 2021, pelo que "não tem conhecimento do que se passa na atualidade". É, por isso, inútil perguntar quem serão os líderes atuais dos partidos portugueses com representação parlamentar: a resposta estará datada.
Quanto aos restantes erros, algumas vezes grosseiros, outras vezes subtis, a resposta já pode ser mais complexa de perceber. Por isso, pedimos ajuda a um especialista e criamos este "explicador", para tirar, de uma vez por todas, todas as suas dúvidas sobre esta ferramenta. Não, não a use para fazer batota num exame ou escrever uma canção... pode não correr bem.
“É um modelo estatístico de linguagem”, explica Arlindo Oliveira, professor do Instituto Superior Técnico, investigador e especialista em inteligência artificial.
É baseado no Generative Pre-Training Transformer 3, ou GPT3, um modelo de linguagem com pouco mais de dois anos que “aprende” e produz texto semelhante ao humano. Trocando por “miúdos”, “é um modelo estatístico de linguagem que foi treinado para prever qual é a próxima palavra numa sequência de palavras”, explica o especialista. Ou seja, não passa de um modelo linguístico de aprendizagem automática. Não é uma bola de cristal nem um "Google" com toda a sabedoria do mundo... para já.
Para conseguir “gerar saídas mais agradáveis, preferidas pelos seres humanos”, o ChatGPT, lançado no final do ano passado, usou algoritmos mas também “um conjunto de pessoas”, que analisaram resultados e “escolheram os melhores”, num processo designado de aprendizagem por reforço baseada em referências humanas (ou Reinforcement Learning from Human Feedback - RLHF).
Mas... a que fontes vai o ChatGPT "beber" a informação que debita?
Nem por isso.“Há muitos modelos de linguagem neste momento”, relembra Arlindo Oliveira que, no entanto, explica o eventual sucesso deste em relação a outros: o já falado fator “agradável”. “O ChatGPT foi treinado para que as respostas sejam particularmente agradáveis, que os seres humanos gostem delas”, reforça. Como também foi “disponibilizado publicamente” tornou-se “muito popular” entre os utilizadores mais comuns.
Quem já usou a Internet sabe que nem tudo o que se escreve online é factual... E, se já experimentou usar o ChatGPT (como fizemos neste artigo), já se deparou, certamente, com respostas sem grande sentido.
Podemos, então, confiar no que nos "diz"? Arlindo Oliveira reitera que não. "Como disse, é um modelo estatístico que gera texto plausível. Se fizermos perguntas relativamente genéricas, como 'o que é a democracia?' ou "qual a diferença entre esquerda e direita?', ele dá texto plausível, razoável, provavelmente estará correto em muitos casos", admite. Quando começamos a falar em pessoas a veracidade já será menos provável. "Depende um bocadinho. Se houver muitos e muitos textos sobre a pessoa em particular, provavelmente é suficiente para ele gerar saídas concretas e específicas".
E nem Arlindo escapa a este fenómeno. "As minhas filhas perguntaram sobre mim e ele inventou uma série de coisas, que eu era professor em Coimbra e mais umas coisas falsas", diz. "Por exemplo, inventou artigos científicos que não existem, etc. O sistema é puramente estatístico", reforça.
Ou seja, o que o ChatGPT "diz" não se "escreve"... "Estes modelos geram textos plausíveis, textos estatisticamente prováveis ou plausíveis... mas não são necessariamente corretos".
Isto pode mudar no futuro, até porque o sistema está sempre a aprender. "Há-de haver versões posteriores a este sistema que vão estar mais ancoradas em bases de dados factuais e, que provavelmente, também serão corretos. Mas, neste momento, o modelo é um modelo puramente estatístico, cujo objetivo e cuja função é gerar textos razoáveis e plausíveis, não necessariamente factualmente corretos".
Volta ao seu exemplo. "Eu ser professor em Coimbra... é plausível, porque eu até sou professor em Lisboa, mas não é correto. Não há muita informação, por isso ele inventou umas coisas", salienta. O fenómeno até tem um nome: alucinar. "O sistema alucina quando vê coisas que são razoavelmente plausíveis, mas não são factualmente corretas".
Arlindo adianta que "está em produção o GPT-4", um "modelo maior, treinado com mais textos". Apesar disso, o investigador não acredita que este modelo "não será assim tão profundamente diferente" do já existente. "Um ChatGPT baseado no GPT-4 não há-de ser assim tão diferente do ChatGPT. Talvez faça menos erros, talvez saiba umas coisas que este não sabe...", diz. Uma mudança poderá estar na atualização. "A parte da informação com que este modelo foi treinado está desatualizada. Não tem as últimas notícias", remata.
Como explicado acima, o chatbot "limita-se" a utilizar textos obtidos na Internet, usados para treinar este modelo e tentar prever qual seria a próxima palavra a fazer mais sentido. "É claro que isto de prever a próxima palavra não é assim tão fácil", diz Arlindo. Os modelos têm, depois, de "perceber" que "existem países, pessoas, política, ciência...". Tudo junto cria uma "rede neuronal" ou "transformador", um "esquema altamente complexo" que descreve relações entre as palavras.
Então...qual é mesmo o intuito disto? "É uma maneira, um bocadinho rebuscada, é certo, um bocadinho obscura... de representar uma parte do conhecimento humano".
Pode até não ser "útil para fazermos perguntas específicas sobre casos pontuais", mas a grande revolução está na interação: "Estamos habituados a interagir com os computadores de maneiras muito rígidas", recorda. Agora, cada vez mais se caminha para um futuro em que, em vez de usarmos "duas ou três palavras num motor de busca", "vamos começar a interagir com computadores de uma maneira muito mais sofisticada". Um pouco como já há quem faça com sistemas como a Alexa, a Siri ou o assistente da Google.
"Estes sistemas têm suficiente inteligência para perceber as nossas intenções", entende... e é aí que reside a grande mudança: na possibilidade de interagir com sistemas "em língua natural".
"Esta interface em língua natural vai ser uma das coisas que mais profundamente vai mudar. Muitas pessoas vão usar isto como uma espécie de máquina de escrever hiper sofisticada", vaticina.
Em paralelo, também servirá para "automatizar muitas funções" que, neste momento, são desempenhadas por seres humanos e que são "relativamente simples".
Arlindo Oliveira acredita que "muitas profissões estão condenadas a adaptarem-se", mas que aquelas que vão sofrer mais impacto são as profissões que, de uma maneira ou de outra, "manipulam texto com pouco valor acrescentado". "Pessoas que respondem a pedidos de clientes, a emails de clientes, a sms de clientes. Pessoas que fazem relatórios de sessões de bolsa ou de coisas relativamente simples. Tudo isto pode ser facilmente automatizado", defende.
Outros processos poderão ganhar eficiência com estes sistemas. "Podem analisar contratos, fazer propostas de alterações de contratos, procurar precedentes... há uma série de trabalho de relativamente baixo valor acrescentado que é feito, por exemplo, por juristas que é, provavelmente, passível de automatização", exemplifica o especialista.
Desengane-se, no entanto, quem esteja a contar que trabalho criativo humano seja facilmente substituído pelas "máquinas". Apesar disso, o futuro é "difícil de antever".
"Não vamos confiar ao ChatGPT um diagnóstico de uma doença ou a escrita de um artigo de fundo sobre a política portuguesa", diz. Mas tudo vai depender do que se fizer com a tecnologia, como sempre acaba por acontecer. "Como é que as organizações vão usar estas novas tecnologias? Vão adaptar-se? Vão resistir? Vão proibir o uso de sistemas deste tipo em escolas, jornais, sites?". São estas as questões que vão ditar o futuro.
