Acadêmicos pedem desculpas por erro de IA envolvendo as Big Four

por Tom Herbert

Um grupo de acadêmicos pediu desculpas às Big Four de auditoria após ser revelado que eles usaram material gerado por inteligência artificial para implicar as empresas em escândalos inexistentes por meio de uma submissão ao Parlamento Australiano.

Você pode pensar que a dupla das Quatro Grandes, KPMG e Deloitte, já têm o suficiente para lidar defendendo a integridade de seus serviços existentes sem ter que enfrentar casos imaginários de má conduta criados por um bot de inteligência artificial (IA) excessivamente zeloso.

No entanto, é exatamente isso com o qual eles tiveram que lidar como parte de uma investigação parlamentar australiana sobre a ética e responsabilidade profissional da indústria de consultoria – desencadeada pelo vazamento de planos fiscais do governo sensíveis por parte dos funcionários da PwC Austrália.

Evidência errônea

 Um grupo de acadêmicos de contabilidade apresentou evidências à investigação argumentando por mais responsabilidade pública e regulamentação mais rigorosa das Big Four, incluindo a divisão estrutural de suas áreas de auditoria e consultoria, e um novo regulador independente para a profissão contábil.

Infelizmente para os estudiosos, parte das evidências acusou a KPMG e a Deloitte de envolvimento em vários casos que eram inexistentes ou com os quais as empresas em questão não tinham conexão. Quando questionados sobre a evidência errônea, os acadêmicos admitiram que parte dela havia sido gerada por um programa de IA e não havia sido verificada quanto à precisão antes da submissão.

A evidência acusou a KPMG de estar envolvida no “escândalo de roubo de salários da KPMG 7-Eleven” – um escândalo que nunca aconteceu – e também acusou a Big Four  de auditar o Commonwealth Bank durante um escândalo de planejamento financeiro, apesar de a KPMG nunca ter atuado como auditores do banco.

A Deloitte foi mencionada no inexistente “escândalo de planejamento financeiro do National Australia Bank [NAB]”, onde o bot de IA acusou erroneamente a empresa de aconselhar o banco em um esquema que defraudou clientes de milhões de dólares, e também de falsificar as contas da Patisserie Valerie – um caso real que envolveu a Grant Thornton e a KPMG, mas não a Deloitte.

Erros lamentáveis

 Em uma submissão suplementar à investigação, o Professor James Guthrie, que fazia parte do grupo de acadêmicos que preparou a submissão, ofereceu um pedido de desculpas incondicional às empresas pelos erros e assumiu total responsabilidade por eles.

Ele admitiu ter usado o gerador de linguagem Google Bard alimentado por IA para ajudar na submissão, afirmando que houve “muita conversa sobre o uso de IA, especialmente na academia, com muitas promessas do que ela representa para o futuro e suas capacidades atuais.

“Esta foi a primeira vez que usei o Google Bard em pesquisa”, disse ele. “Agora percebo que a IA pode gerar saídas que parecem autoritárias, mas podem ser incorretas, incompletas ou tendenciosas.”

As imprecisões foram removidas da submissão.

Guthrie concluiu seu pedido de desculpas afirmando que, embora os erros factuais sejam “lamentáveis”, os argumentos substantivos pela mudança e as recomendações dos acadêmicos para a reforma permanecem inalterados.

Perguntas importantes sobre o uso de IA

Em uma declaração em resposta ao incidente, o comitê afirmou ter “levantado questões importantes” sobre o uso de IA.

“Ferramentas emergentes no espaço da inteligência artificial, apesar de parecerem reduzir a carga de trabalho, podem apresentar sérios riscos para a integridade e precisão do trabalho se não forem devidamente compreendidas ou aplicadas em combinação com supervisão detalhada e verificação rigorosa dos fatos”, diz a declaração.

Acredita-se que este seja o primeiro caso em que um comitê parlamentar teve que lidar com o uso de IA generativa em submissões de investigação, que na Austrália, assim como no Reino Unido, são protegidas pelo privilégio parlamentar e estão livres de ação por difamação.

Em uma reclamação formal ao comitê, o CEO da KPMG Austrália, Andrew Yates, afirmou que a reputação da empresa estava sendo injustamente prejudicada.

“Estamos profundamente preocupados e desapontados que a IA tenha sido usada, sem verificação abrangente, em uma submissão a uma investigação parlamentar tão importante”, disse Yates. “Os meios de subsistência das mais de 10.000 pessoas que trabalham na KPMG [Austrália] podem ser afetados quando informações obviamente incorretas são colocadas no registro público – protegido pelo privilégio parlamentar – e relatadas como fatos.”

Ferramentas de IA não refinadas

 De volta ao mundo real, a KPMG se viu alvo de uma série de medidas disciplinares por parte dos reguladores nos últimos 12 meses, incluindo uma multa recorde de £21 milhões por graves violações na auditoria da empresa de construção falida Carillion, uma multa de £1 milhão pela auditoria da varejista de artes, artesanato e livros de rua The Works, e uma sanção de £1,25 milhão por violações na auditoria das demonstrações financeiras da fabricante de LED Luceco plc.

Enquanto isso, a Deloitte encerrou 2022 com uma multa de £900.000 da entidade reguladora de contabilidade devido a falhas na auditoria da SIG plc e recentemente se envolveu em problemas com o regulador de Ontário depois que vários funcionários alteraram os relógios dos computadores para “retroceder” auditorias.

Dado que muitas das ferramentas de IA generativa disponíveis no mercado atual dependem da entrada de grandes volumes de dados, é talvez fácil entender como essas ferramentas relativamente não refinadas e generalistas juntaram dois mais dois e chegaram a 22. No entanto, para aqueles responsáveis por verificar sua saída e submetê-la a uma das mais altas autoridades do país, é menos compreensível.

Publicado originalmente aqui – 06.11.2023 [Tradução via Chat GPT, com correções pontuais]