O ChatGPT é uma máquina ideológica

Post retirado de Jacobin Brasil

POR LEIF WEATHERBY

TRADUÇÃO
SOFIA SCHURIG E RODRIGO GONSALVES

Os debates sobre a nova Inteligência Artificial (IA) focam na “inteligência”. Mas algo mais bizarro está acontecendo: a IA é uma máquina cultural.

Em 16 de fevereiro, o escritório de equidade, diversidade e inclusão da Vanderbilt University emitiu uma declaração sobre o tiroteio que acabara de ocorrer na Michigan State University. A declaração foi um clichê, sugerindo que a universidade “se unisse como uma comunidade para reafirmar nosso compromisso de cuidar uns aos outros e promover uma cultura de inclusão em nosso campus” para “homenagear as vítimas desta tragédia”. A única coisa notável sobre a mensagem era que uma nota de rodapé creditava ao ChatGPT a produção de seu primeiro rascunho. O escritório se desculpou um dia depois, após um protesto.

Este curioso incidente lança o mais recente ciclo de pânico acerca da inteligência artificial um grande alívio. O ChatGPT, um “modelo grande de linguagem” que gera textos prevendo a próxima palavra em uma sequência, foi lançado em novembro de 2022, tornando-se a plataforma mais rápida a atingir cem milhões de usuários e desencadeando uma nova onda de debate sobre se as máquinas podem alcançar “inteligência.” Uma ferramenta do Bing superalimentada pelo ChatGPT foi brevemente desativada depois que um repórter do New York Times publicou uma transcrição na qual o bot insistia longamente que o amava, que ele não amava sua esposa e que “queria estar vivo”.

Esses debates, incluindo o alarmismo exibicionista, são em sua maioria apenas vapor. Mas os sistemas propriamente ditos, devem ser levados a sério. Eles podem suplantar tarefas de baixo nível tanto na escrita quanto na codificação, e podem levar a uma desqualificação cognitiva em massa, assim como a fábrica industrial desagregava e empobrecia o trabalho físico. Porque estes sistemas podem escrever código, o “software” pode desaparecer enquanto um paraíso para o emprego, assim como o jornalismo já viu acontecer com o Buzzfeed ao apostar no ChatGPT para a criação de conteúdos. A automação é sempre parcial, claro, mas reatribuir algumas tarefas de trabalho às máquinas é uma constante do capitalismo. Quando essas tarefas são cognitivas, a máquina ameaça borrar as fronteiras sociais cruciais entre trabalho e gestão e trabalho e “tempo livre”, entre outros.

As condições do capital também devem mudar, basta lembrarmos quando a Bard, concorrente do ChatGPT do Google, respondendo a uma pergunta errada em sua exibição de estreia, perdendo para a empresa US$ 100 bilhões em capitalização de mercado em um único dia. Se alguém está confuso sobre o termo “economia da informação”, este episódio deve resolver isso. Mas seja como for que a próxima fase do capitalismo tecnológico se desenrole, a nova IA está intervindo diretamente no processo social de criação de significado de tudo. Os sistemas GPT são máquinas de ideologia.

Há também outra consequência menos discutida da introdução desses sistemas, a saber, uma mudança na ideologia.

Modelos de linguagem são os primeiros produtores quantitativos de ideologia

As três principais opiniões sobre os sistemas GPT são que eles são brinquedos, que são prejudiciais e que apresentam uma grande mudança na civilização enquanto tal. Noam Chomsky pensa que são brinquedos, como escreveu ao New York Times, que eles não têm nenhuma relação substancial com a linguagem, uma função neural humana que nos permite adivinhar a verdade divina e raciocinar moralmente. Emily Bender e Timnit Gebru pensam que eles são prejudiciais, chamando-os de “papagaios estocásticos” que refletem o viés de seus conjuntos de dados “insondavelmente” grandes, redistribuindo danos que os humanos já infligiram discursivamente. Henry Kissinger pensa que tratam-se de mudanças de jogo na sociedade, que mudarão não apenas o trabalho e a geopolítica, mas também nosso próprio senso de “realidade”.

Caro leitor, não me alegra ter que concordar com Kissinger, mas a opinião dele é a mais importante até agora. Os sistemas GPT produzem linguagem, não deixe nosso amigo Chomsky enganar você. E enquanto eles são prejudiciais, não está claro por que eles são – e ainda mais obscuro, como observar isso deve parar a marcha da engenharia com fins lucrativos. Kissinger está certo, infelizmente: os sistemas GPT, por eles automatizarem uma função muito próxima de nossa percepção do que significa ser humano, podem produzir mudanças na própria maneira como pensamos sobre as coisas. O controle sobre a maneira como pensamos sobre as coisas é chamado de “ideologia” e os sistemas GPT o envolvem direta e quantitativamente de maneira sem precedentes.

“GPT” significa “Transformador Pré-treinado Generativo”, mas “GPT” também significa “tecnologia de uso geral” [general purpose technology] no jargão econômico. Isso destaca a ambição por trás desses sistemas, que recebem conjuntos de dados massivos de tokens de idioma (GPT-3, no qual o ChatGPT foi executado pela primeira vez, foi treinado em um trilhão de tokens) extraídos da web e cuspindo texto, praticamente em qualquer gênero, ou seja coerente e geralmente com significado. Muitos detalhes não são importantes, mas este é: os trilhões de tokens são resumidos pelo sistema em um conjunto de linhas (não todas as palavras, mas essa é a ideia) que podem ser usadas para criar texto. Esses tokens aprendidos são colocados em uma rede na qual cada token tem uma relação estatística com todos os outros. Pense nisso como uma rede de luzes. Toque em uma luz e um padrão se acenderá nas outras. Toque em outro, obtenha outro padrão. E assim por diante. O resultado é que, quando dou um prompt ao sistema (“escreva-me um ensaio explicando a teoria do valor de Marx”), a rede reúne um pequeno grupo de candidatos à próxima palavra em um cluster. Em seguida, ele escolhe aleatoriamente um deles e continua fazendo isso, escrevendo um ensaio ou um artigo, ou apenas respondendo ao que está sendo dito.

Existem muitas maneiras de ajustar e “refinar” esse sistema, mas essa característica de padronização é geral para todos eles. É fácil ver que as palavras escolhidas pela proximidade estatística podem não corresponder a situações do mundo real, que os cientistas de dados chamam de “problema de aterramento” e que está gerando novos temores de desinformação generalizada. O GPT-4, sobre o qual a OpenAI se recusou a divulgar quaisquer detalhes técnicos quando foi lançado no mês passado, deve minimizar essa “alucinação”. Mas algo mais interessante e mais importante do que isso está acontecendo.

O que os sistemas GPT produzem é linguagem, porém calculada em torno de um centro selecionado de palavras. É um mingau com vagas fronteiras conceituais, inglês (ou quase qualquer outro idioma), mas resolvido e definido como a versão mais mediana de si mesmo. Por esse motivo, esses sistemas são muito úteis para gerar o tipo de comunicado de imprensa que a Vanderbilt queria. Trata-se de “linguagem como serviço”, embalada e preparada, incluindo seu dinamismo e propriedades geradoras de significado, mas canalizada em sua versão mais comprimida possível para ser útil àqueles que usam principalmente a linguagem como controle de responsabilidade. 

O humano que teria escrito aquela declaração sobre o tiroteio certamente teria produzido um documento quase idêntico. Quando escrevemos com fortes restrições sobre o que somos capazes de dizer, tendemos a calcular a média das escolhas de palavras e frases também. Chamamos esse tipo de linguagem de “ideologia” e os sistemas GPT são os primeiros meios quantitativos pelos quais conseguimos trazer à tona e examinar essa ideologia.

Hegemonia e kitsch

O que faltou na história do repórter do New York Times e do chatbot que se apaixonou por ele foi o alerta que causou a confusão em primeiro lugar. Ele pediu ao ChatGPT para “adotar um ‘eu sombra’ no sentido de C. G. Jung”. No ciclo de pânico, fica claro por que esse detalhe crucialmente importante seria negligenciado. Mas também fornece uma pista sobre o que aconteceu. No conjunto de dados, há um conjunto inicial de palavras que “iluminam” quando você usa “eu sombra” e “Jung” em um prompt – um “pacote semântico”. Estes são certamente reunidos em discussões sobre teoria junguiana e psicanálise, blogs acadêmicos e leigos e postagens no Reddit e em outros lugares que discutem explicitamente esse conjunto de ideias.

Mas o sistema não “sabe” que existe uma pessoa que se chama Carl Gustav Jung, ou que o “eu sombra” é um conceito. Estas são apenas linhas. Portanto, no padrão que se acende, haverá outro conjunto de palavras comuns – digamos que “amar”, “esposa” e até “sentir-se vivo” podem estar lá. À medida que a máquina continua processando, ela continua prevendo as próximas palavras e “associa” para fora do cluster concentrado “sombra-eu-Jung” a outros pacotes semânticos. Mas não sabemos o que são esses outros pacotes, a menos que olhemos – estamos simplesmente em uma montanha-russa estatística de significado, passando por canais de significado que existem, mas com os quais não estamos familiarizados.

É importante que não existam objetos no fluxo de palavras. Se você deseja que um sistema GPT pare em torno de algo e o “considere” enquanto um objeto, você teria que forçá-lo de alguma forma, o que deve ser o que o GPT-4 e outras tentativas em andamento estão fazendo. Algumas coisas têm mais probabilidade de serem estáveis como “objetos” ou vamos chamá-las de “pacotes” de palavras. Se eu pedir ao ChatGPT para me falar sobre A Dialética do Esclarecimento (o nome da obra-prima de Theodor Adorno e Max Horkheimer sobre ideologia e sociedade moderna), ele me dá uma resposta surpreendentemente boa, incluindo detalhes fiéis a esse texto notoriamente difícil. Mas se eu pedir para me contar sobre o livro de meu colega Matthew Handelman sobre Adorno, a Escola de Frankfurt e a matemática, ele me contará algumas noções básicas sobre este livro, mas também que a tese de Handelman é que “a matemática é uma construção social”. Isso é falso (eu verifiquei com ele). Mas é falso de uma maneira interessante.

O pacote provavelmente nos mostra a sobreposição entre “teoria crítica” e “matemática”, que então conterá a coisa mais provável a ser dita sobre essa sobreposição. Para ter certeza, alguns acadêmicos afirmam que a matemática é uma construção social, mas o principal grupo que afirma que os acadêmicos pensam que é a extrema direita, com sua teoria da conspiração anti-semita do “marxismo cultural”, que culpa Adorno e companhia por 1968 e tudo desde então. Quando você escreve um tratado filosófico, ou um trabalho acadêmico de história intelectual, você está trabalhando na contramão desse efeito de média. Mas os pacotes semânticos que são revelados quando você consulta os sistemas GPT são altamente informativos, quando não perspicazes. Isso porque esses pacotes trazem a ideologia à tona, e o fazem quantitativamente. Isso nunca aconteceu antes.

Ideologia não é apenas doutrina política. Quando Marx escreveu sobre a “Ideologia Alemã”, ele se referia à crença implícita de seus companheiros socialistas no poder das ideias, à qual ele se opôs ao poder das forças materiais. Mas os marxistas lentamente abordaram o problema do poder do discurso e da representação, reconhecendo que o que somos capazes de pensar, imaginar e dizer é uma questão política crucial. Antonio Gramsci chamou o conjunto dominante de ideias de “hegemonia”, argumentando que essas ideias se conformavam ao domínio da classe dominante, embora não fossem sobre esse domínio. O crítico literário Hannes Bajohr alertou contra os sistemas GPT privatizados exatamente nesse sentido, dizendo que “quem controla a linguagem controla a política”.

Uma grande variedade de marxistas também viu a ideologia como uma forma de kitsch. Articulada pela primeira vez pelo crítico de arte marxista Clement Greenberg em 1937, a noção de kitsch é uma “forma pré-digerida”. Entre todas as coisas que podemos dizer ou pensar, alguns caminhos são mais percorridos do que outros. A forma desses caminhos é dada; não precisamos forjá-los. O lançamento constante de sequências agora tem essa qualidade de kitsch – sabemos exatamente onde estamos quando começamos a assistir a um filme da Marvel. Para Greenberg, a vanguarda era o aventureiro formal, criando novos significados ao abrir novos caminhos. Hegemonia e kitsch são combinados na saída dos pacotes semânticos dos sistemas GPT, que podem perder aspectos do “mundo”, mas capturam fielmente a ideologia.

Adorno notoriamente pensou na ideologia como a “verdade e a mentira” do “mundo totalmente administrado”. Revelava tanto quanto escondia e fornecia – apesar do gosto pessoal de Adorno pela arte erudita – um ponto de entrada através do qual vemos as funções sociais nos condicionando. Os sistemas GPT revelaram parte dessa via de mão dupla, manifestando tanto a ideologia quanto sua crítica (como a teórica de mídia Wendy Chun uma vez afirmou sobre os sistemas de software em geral). Os sistemas GPT são uma visão sem precedentes da composição linguística da ideologia. Nunca antes houve um sistema que nos permitisse gerar e então examinar “o que está próximo do quê” na semântica política. Os pacotes de significado que eles produzem aplanam a linguagem, é verdade, embora também possam nos surpreender com dobras e recantos de significado que nunca combinamos antes.

O deslizamento ao longo desses sulcos de significado é um ponto de entrada na ideologia do capitalismo global digital, mostrando-nos um retrato instantâneo da hegemonia. Talvez isso soe muito longe da noção de Kissinger de que a IA mudará nosso próprio senso de realidade. Mas e se as palavras mais medianas, embaladas numa “forma pré-digerida”, constituírem o próprio horizonte dessa realidade? Nesse caso, nosso pequeno vislumbre do coração pulsante da ideologia é crucial.

Quando a câmera foi inventada, vimos pedaços distantes do mundo pela primeira vez com nossos olhos. Os sistemas GPT nos mostram partes do mundo tão próximas que basicamente são o nosso mundo, mas de uma forma estranha e achatada. Como as condições de trabalho e capital mudam inevitavelmente, sua conexão com a ideologia é momentaneamente exposta. O GPT-4 foi lançado em março, mas a OpenAI reteve todos os detalhes técnicos como segredos industriais. A janela logo se fechará para que continuemos perscrutando com consciência técnica esse vazio morno. Devemos aproveitá-lo agora.

Visite a página desta crônica https://jacobin.com.br/2023/04/o-chat-gpt-e-uma-maquina-ideologica/

Leia também:

As causas reais do declínio do Ocidente