Clientes são expulsos de lojas por erro em IA
Três consumidores foram retirados de estabelecimentos comerciais no Reino Unido após identificação incorreta como criminosos. De acordo com o The Guardian, o sistema de IA de reconhecimento facial Facewatch apontou Ian Clayton, Warren Rajah e Jennie Sanders como suspeitos de furto. Os casos ocorreram em lojas das redes Home Bargains, Sainsbury’s e B&M entre o ano passado e fevereiro deste ano.
Abordagens constrangedoras
Clayton é profissional aposentado de saúde e segurança de Chester, com 67 anos. Rajah trabalha como estrategista de dados no sul de Londres. Sanders tem 48 anos e mora em Birmingham.
Clayton fazia compras no horário de almoço em uma loja Home Bargains em Chester quando foi abordado por uma funcionária. “Com licença, você pode colocar tudo no chão e sair da loja agora?”, ordenou a atendente. Ele foi conduzido rapidamente para a saída. A funcionária explicou: “Você apareceu no nosso sistema chamado Facewatch como ladrão de lojas”. Ela acrescentou: “Há um cartaz na vitrine”. Clayton foi deixado sozinho do lado de fora com um código QR para escanear.
Rajah recebeu ordem para colocar sua cesta de compras no chão e deixar uma loja Sainsbury’s de Elephant and Castle, no sul de Londres.
Por outro lado, Sanders andava pela loja B&M em Birmingham quando um segurança a informou que havia sido sinalizada no sistema. Ele disse que precisava escoltá-la pela loja para verificar se não estava furtando. “Fiquei muito chateada. Foi na frente de muitas pessoas, e fiquei muito envergonhada. Eu disse que queria sair e ele me escoltou para fora da loja”, descreveu Sanders.
Dificuldades para contestar
Clayton tentou ligar para número de telefone em cartaz após ser expulso da Home Bargains. Foi direcionado para mensagem dizendo que a empresa não atendia chamadas e que ele precisava enviar e-mail. Ele só conseguiu obter respostas após submeter solicitação formal de acesso aos dados pessoais. Clayton descobriu que havia sido incorretamente associado a um incidente de furto em visita anterior.
Rajah foi informado, após troca de e-mails que durou dias, que não constava no banco de dados do Facewatch. Funcionários o haviam identificado erroneamente. Porém, Sanders teve que enviar cópia de seu passaporte para provar sua identidade. Por fim, ela descobriu que constava no sistema por supostamente ter furtado uma garrafa de vinho da B&M, fato que nega.
Já a B&M comunicou a Sanders que não possuía mais nenhuma evidência, incluindo filmagens do dia, para justificar sua inclusão no banco de dados. Além disso, a loja removeu Sanders do sistema e ofereceu vale de 25 libras.
Compensações e condições
A Home Bargains ofereceu a Clayton pedido de desculpas e voucher de 100 libras (cerca de R$ 675) como “gesto de boa vontade”. Porém, a condição era que os detalhes do incidente permanecessem confidenciais. “Eu apenas pensei: ‘Sério, vocês estão tentando comprar meu silêncio?'”, recusou Clayton.
Rajah recebeu oferta de vale-compras de 75 libras (R$ 500) como pedido de desculpas. Quando disse que não se sentia confortável retornando à loja, foi orientado a usar o vale online.
Impactos emocionais
“Foi como se eu fosse culpado até provar minha inocência. É uma sensação horrível. Deixa um nó no estômago e quando olho para trás agora posso sentir isso novamente”, descreveu Clayton ao The Guardian. Além disso, ele acrescentou: “Estamos constantemente sendo gravados e colocados nesses sistemas, mas deveríamos estar lá? Parece espionagem sem causa. Estou hiper consciente das câmeras em todos os lugares agora, estou tão consciente delas”.
Aliás, Sanders relatou o medo após o incidente: “Foi assustador, mas o que foi mais assustador foi quando cheguei em casa e comecei a pesquisar sobre o Facewatch, vi que eles compartilham as informações entre várias lojas. Pensei: ‘Vou ser tratada como uma ladra em todas as lojas. Não vou conseguir fazer nenhuma compra pessoalmente nunca mais'”.
Ela disse: “Tirei alguns dias de folga do trabalho, fiquei absolutamente fora de mim. Por que eu estava em um banco de dados de criminosos sem meu conhecimento? Nunca mais vou entrar em uma B&M. Tento ficar longe de lugares com câmeras… isso realmente me afetou”.
Preocupações com direitos civis
“Para mim, esta é uma questão de direitos civis na qual estamos entrando lentamente, porque se você é simplesmente removido sem questionamento, seus direitos civis estão sendo impactados”, afirmou Rajah. Ele também disse: “Já vivemos em um país que tem problemas com racismo, é uma questão inevitável. E sabemos que as câmeras não conseguem captar características de pessoas com características mais escuras com a mesma precisão. E isso pode estar acontecendo com pessoas muito mais vulneráveis do que eu”.
Além disso, Rajah questionou: “Quem está regulando essas empresas e elas podem ser confiáveis com nossas informações? E mais importante, ninguém realmente definiu qual é o seu recurso quando algo dá errado”.
Dados do sistema
O site da empresa Facewatch afirma que seu sistema possui taxa de precisão de 99,98%. A Facewatch envia mais de 500 mil alertas aos varejistas a cada ano. No mês passado, o sistema enviou 50.288 alertas de “infratores conhecidos” para lojas incluindo B&M, Home Bargains, Sports Direct, Farm Foods e Spar. Todas essas redes utilizam o software atualmente.
Nick Fisher, diretor-executivo da Facewatch, afirmou: “Estamos cientes dos assuntos mencionados e, em cada caso, agimos prontamente assim que eles entraram em contato com a equipe de proteção de dados da Facewatch”.
“Esses três erros são casos extremamente raros quando vistos no contexto dos mais de 500 mil alertas que enviamos aos varejistas a cada ano, mas reconhecemos que qualquer erro é perturbador para o indivíduo envolvido. O sistema foi projetado para apoiar, e não substituir, a tomada de decisão humana”, disse Fisher.
O diretor-executivo afirmou que os casos estão relacionados a erro humano na forma como os processos foram executados nas lojas. Ele disse que não houve falhas na tecnologia da empresa.
Queixa ao órgão regulador
Sanders apresentou queixa ao ICO (sigla em inglês para Gabinete do Comissário de Informação). O órgão regulador monitora o uso de informações pessoais em tecnologia de reconhecimento facial. Sete meses depois, ela ainda não havia recebido resposta.
Rajah também considerou apresentar queixa ao ICO. Ele não encontrou informações sobre como fazer isso. “Eles são tão impotentes. E essa questão foi bem relatada, e eles não divulgaram um processo formal de reclamações. Onde está essa informação? Como você pode reclamar quando não há caminhos a seguir?”, criticou.
Sanders questionou: “Somos orientados a registrar reclamações e enviar toda a correspondência ao comissário de informações, mas eles não respondem. O que diabos está acontecendo com qualquer tipo de resposta às vítimas disso?”.
Porta-voz do ICO declarou: “Reconhecemos o dano e a perturbação que podem ser causados por identificação incorreta. Por essa razão, o uso de tecnologia de reconhecimento facial deve cumprir estritamente a lei de proteção de dados e ser tratado com cuidado e transparência”.
Além disso, o representante disse: “Se alguém tiver preocupações sobre como seus dados foram coletados, usados ou compartilhados, e essas preocupações não puderem ser resolvidas diretamente com o varejista, eles têm o direito de apresentar uma reclamação conosco”.
“Também continuamos a regular ativamente nesta área e publicaremos orientações adicionais focadas no varejo para apoiar os varejistas no entendimento e cumprimento de suas obrigações de proteção de dados, garantindo ao mesmo tempo que o público esteja devidamente protegido”, completou o porta-voz do ICO.
Além disso, os comissários de biometria do Reino Unido estão alertando que a supervisão nacional está ficando muito atrás da rápida expansão da tecnologia.
