Nuveo: Ética Digital e Inteligência Artificial para Desafios do Mundo Real

RESUMO

Este caso de ensino apresenta o dilema enfrentado pela Nuveo em sua busca por crescer sustentavelmente e consolidar-se no mercado de inteligência artificial do país. Ao identificar a possibilidade de ofertar o uso da sua tecnologia de reconhecimento de imagens para a segurança pública, o fundador da startup depara-se com questões éticas envolvidas com essa oportunidade. Ao contar a história da Nuveo, este caso permite a identificação de princípios e recomendações para o desenvolvimento e uso ético de sistemas de IA, propiciando ainda discussões acerca dos desafios éticos relacionados à transformação digital e seus impactos para os indivíduos, empresas e sociedade. Este caso de ensino foi elaborado para ser aplicado em cursos de graduação e pós-graduação em administração de empresas, administração pública e tecnologia da informação, em disciplinas que abordem ética digital, ESG (environmental, social, and governance) e inteligência artificial.

Palavras-chave:
ética digital; inteligência artificial; ESG; tecnologia da informação

ABSTRACT

This teaching case presents the dilemma faced by Nuveo in its quest to grow sustainably and consolidate itself in the Brazilian artificial intelligence market. When the opportunity comes to offer his image recognition technology for public safety, the startup’s founder finds himself up against ethical issues. By telling Nuveo’s story, this teaching case allows the identification of principles and recommendations for ethical development and use of AI systems, enabling discussions about ethical challenges related to digital transformation and its impacts on individuals, companies, and society. It is intended for use at undergraduate and graduate courses in business administration, public administration, and information technology and can be applied in disciplines that address digital ethics, ESG (environmental, social, and governance), and artificial intelligence.

Keywords:
digital ethics; artificial intelligence; ESG; information technology

A OPORTUNIDADE DE UM NOVO NEGÓCIO

Setembro de 2019. Enquanto a chegada da primavera anunciava o início de um novo ciclo à natureza, José Flávio Pereira - fundador e CEO da Nuveo - se perguntava se não havia chegado a hora de iniciar um novo ciclo também em sua startup, ampliando a oferta de suas soluções de reconhecimento de imagens para além da automação de processos.

A Nuveo vinha conquistando importantes clientes com sua tecnologia proprietária de inteligência artificial (IA) para análise de dados estruturados e não estruturados em documentos e imagens, quando José Flávio identificou uma oportunidade de expandir a utilização de sua solução de visão computacional para uma finalidade que não envolvia a automação de processos: o reconhecimento facial para a localização de criminosos.

Ele havia lido pesquisas recentes que mostravam que a utilização da tecnologia de reconhecimento de imagens para vigilância/segurança seria um dos impulsionadores do mercado de reconhecimento facial global e estimava que o crescimento do mercado brasileiro acompanharia as previsões para a América Latina, girando em torno de 16% ao ano.

Além disso, tinha também mapeado o interesse crescente de instituições governamentais do país nesse tipo de ferramenta para a utilização na área de segurança pública, inclusive com previsão de incentivo do governo ao fomento do uso dessa tecnologia¹. Uma delas, em particular, iria realizar a contratação de tecnologia de reconhecimento de imagens para segurança pública em breve.

José Flávio sabia que essa oportunidade poderia permitir à Nuveo um salto em seu faturamento, além de consolidar rapidamente a empresa no mercado brasileiro de inteligência artificial. Com a entrada de mais recursos financeiros e o aperfeiçoamento tecnológico necessário, ele teria o potencial de ampliar seu portfólio de soluções e sua carteira de clientes, além de alçar a sua empresa a um novo patamar.

Entretanto, ele também sabia que, apesar da expectativa de um aumento considerável de receita para uma empresa que ainda enfrentava limitações financeiras e da possibilidade real de expansão e consolidação de seus negócios, a oportunidade também trazia riscos, já que o grau de acurácia e os vieses contidos nas soluções de reconhecimento facial a tornavam suscetível a falhas. Além disso, essas ferramentas estavam sendo tema de crescentes discussões nos meios acadêmicos e na sociedade, sob a alegação de serem uma possível ameaça à privacidade e à democracia. Seria o melhor momento para investir nesse novo negócio?

A NUVEO

Resolver problemas reais sempre foi o objetivo da Nuveo. Fundada em 2016 com essa missão, a startup desenvolve sistemas e algoritmos que empregam IA para oferecer ao mercado soluções voltadas principalmente para automação de processos, com foco na melhoria da capacidade produtiva, no aumento de eficiência e na redução de custos.

A ideia do seu produto original havia surgido durante o período em que José Flávio se dedicou a um trabalho voluntário em uma instituição do terceiro setor. Enquanto cursava o MBA em Gestão, ele passou a atuar no Instituto GESC² e a fornecer consultoria social para entidades da sociedade civil. A ONG Lar das Crianças foi uma delas.

O Lar deparava-se com um grande volume de trabalho repetitivo e manual para obtenção de recursos financeiros oriundos de créditos da Nota Fiscal Paulista³. Esses recursos muitas vezes não eram recebidos pela instituição em sua totalidade por não ter havido tempo hábil para o cadastramento da solicitação do crédito, já que deveria ser realizado até o dia 20 do mês subsequente à data de emissão do documento. O desenvolvimento e a implementação de uma solução de inteligência artificial, simulando o raciocínio humano, permitiram à ONG automatizar seus processos repetitivos e a obtenção total dos créditos permitidos.

Com espírito empreendedor e com formação e experiência em gestão de negócios, José Flávio logo percebeu o potencial que a sua solução possuía, não apenas para esse problema, mas para vários outros relacionados a processos burocráticos e manuais enfrentados pelas empresas em geral. E assim nasceu a Nuveo, com o propósito de resolver os desafios do mundo real com o auxílio da tecnologia da informação.

Suas soluções são desenvolvidas a partir de plataformas de APIs (application programming interface) baseadas numa arquitetura em nuvem (cloud) escalável e elástica, que utiliza, entre outros, seus algoritmos patenteados de visão computacional - Ultra OCR e Smart Vision - para captura de imagens e posterior processamento e análise dos dados e integração com os sistemas dos seus clientes. Esse processo ocorre de forma totalmente automatizada, com baixo impacto em termos de customizações e infraestrutura e possibilita à empresa a conquista de clientes em setores diversos, como financeiro, varejo, saúde e energia.

A startup conta com profissionais de tecnologia distribuídos entre a sua sede em São Paulo/SP e sua filial em Campina Grande/PB - voltada exclusivamente para P&D - e procura manter um relacionamento estreito com universidades e centros de pesquisa do país, em especial o Parque Tecnológico da Paraíba.

Em seus três anos de existência, a Nuveo já tinha estruturado uma equipe com cerca de 15 colaboradores e vinha aumentando gradualmente seu faturamento, com boa aceitação de seu produto e validação do seu modelo de negócio, mas a identificação da demanda da sua solução de visão computacional para a segurança pública representava uma possibilidade de crescimento exponencial da empresa - a meta de qualquer startup. A empresa fora criada com recursos do seu fundador e não contava com aporte financeiro de investidores.

Dado o número de funcionários e sua receita bruta anual, a startup enquadrava-se como uma empresa de pequeno porte⁴. A expectativa de José Flávio era que a oferta dessa nova solução poderia, no mínimo, triplicar o faturamento da sua empresa no próximo ano, além de se tornar a vitrine para outras finalidades, aumentando ainda mais o leque de oportunidades para a empresa, já que o interesse de órgãos governamentais nesse tipo de ferramenta não se restringia ao uso na área de segurança. Além disso, ele considerava que a oferta de um produto nacional com menores custos se apresentava como uma importante vantagem competitiva para a Nuveo, pois a maior parte das soluções já implementadas para fins de gestão pública no país utilizava tecnologia de empresas estrangeiras.

Mas se por um lado essa parecia ser uma excelente oportunidade para a empresa crescer, consolidar-se no mercado e contribuir com o enfrentamento a um problema real da sociedade - a redução da criminalidade -, por outro, José Flávio não conseguia deixar de pensar nos possíveis reveses que essa implementação poderia trazer. Ao pesquisar sobre o mercado potencial dessa solução, José Flávio tinha também se deparado com questões éticas associadas a ela. E isso martelava incessantemente em sua cabeça…

Ao oferecer esse tipo de solução, a Nuveo estaria realmente contribuindo para resolver um problema social? Não seria necessário um tempo maior de amadurecimento dessa solução para que ela não acarretasse problemas para a sociedade?

DECIDINDO O FUTURO

José Flávio acabara de saber que uma entidade pública iria contratar uma tecnologia de reconhecimento facial para segurança pública. Obter esse contrato traria um aumento significativo do faturamento da empresa e poderia alavancar várias outras oportunidades, mas como ficaria sua consciência e a reputação da sua empresa se um falso positivo levasse a graves consequências?

Diante de suas dúvidas e precisando chegar a uma decisão, José Flávio resolveu marcar uma reunião com três profissionais de sua extrema confiança: Maria, que atuava na área comercial; Pedro, com um vasto conhecimento em finanças; e Arthur, especialista em tecnologia. Ao ouvirem sobre a oportunidade iminente de um novo negócio para a Nuveo, todos ficaram entusiasmados com a ótima possibilidade de crescimento para a empresa.

Passada a euforia inicial, José Flávio começou a pontuar suas preocupações: o estágio atual da tecnologia e os vieses algorítmicos e de dados permitiam falsos positivos e, dessa forma, um inocente poderia ser acusado de um crime que não cometeu. Uma breve pesquisa pela internet encontrou casos reais em vários países. E mais do que isso, os vieses de dados e algoritmos ocorriam frequentemente com pessoas que já pertenciam a grupos que sofrem desigualdades sociais - como mulheres, pessoas LGBTQIA+⁵ e pessoas de pele não branca e, dessa forma, poderiam levar à discriminação desses grupos mais vulneráveis, agravando ainda mais a assimetria já existente na sociedade.

Maria ouviu atentamente, refletindo sobre as considerações de José Flávio. Pensou um pouco e então argumentou: “Falsos positivos podem acontecer mesmo, Flávio. E é verdade que isso é muito ruim, mas são casos isolados… Por outro lado, pense em quantos criminosos poderão ser presos com essa solução! Quantos cidadãos estarão mais seguros! A ferramenta pode até levar a enganos, mas ela irá acertar muito mais do que errar! Os benefícios superam, de longe, os problemas.”

“Maria tem razão!” - disse Pedro. E complementou: “No Brasil, onde os índices de violência são preocupantes, soluções desenvolvidas para colaborar com o aumento da segurança pública provavelmente também serão bem-vindas pela população, por mais que esse tema seja polêmico…”

“Hmm… É verdade, Pedro… Quem não quer uma cidade mais segura? E vale também lembrar que uma falha da ferramenta levaria à identificação incorreta de uma pessoa. Somente isso. A metodologia de abordagem do suspeito e sua eventual prisão não são de responsabilidade da Nuveo” - Arthur acrescentou.

“Será?” - José Flávio perguntou. E prosseguiu: “Que as ferramentas digitais podem mudar profundamente a nossa vida para melhor, eu não tenho dúvida. E esse é o propósito da Nuveo! Poder contribuir com a redução da criminalidade seria fantástico! Mas que consequências eventuais erros ou mau uso teriam para as pessoas, para a empresa e até mesmo para a sociedade em geral?”

“Veja bem, Flávio…” - continuou Arthur. “Sabemos que a taxa de acurácia dessas soluções vem melhorando com rapidez e essa pode ser uma grande oportunidade de evoluir tecnologicamente a empresa! Você tem uma equipe de ponta e com certeza entregará uma ferramenta com um alto nível de acerto e que será constantemente aprimorada. Se existe uma preocupação com relação a vieses algorítmicos e de dados, isso pode ser trabalhado. Tenho certeza de que é possível implementar ações de mitigação nesse sentido!”

“Claro que a empresa pode atuar nisso! Existem iniciativas internacionais para orientar o desenvolvimento de sistemas que empregam IA de uma maneira mais justa para todos. Mas quanto tempo levará até nos sentirmos seguros para oferecer nossa solução? Como saberemos que chegamos numa ferramenta apropriada? Que não iremos prejudicar a sociedade? Também precisamos considerar que investir tempo e dinheiro para adequação da nossa solução a esse novo contexto pode acarretar impactos nos prazos dos projetos que estão em andamento. Além disso, outros fatores também interferem nos resultados em locais públicos: iluminação do ambiente, posicionamento das câmeras…” - comentou José Flávio.

E prosseguiu: “A questão é que não estamos lidando com números ou outra coisa qualquer. Estamos lidando com vidas! E eu não dormiria tranquilo se soubesse que uma ferramenta oferecida pela minha empresa afetou negativamente a vida de alguém! Além disso, me preocupo com a reputação da empresa. Se perdermos a nossa credibilidade ou a sociedade entender que esse tipo de ferramenta é moralmente ofensivo, a Nuveo poderá sofrer danos irreversíveis” - ponderou José Flávio.

“Você tem razão, Flávio…” - refletiu Pedro, acrescentando: “Mais do que nunca os investidores e os clientes estão de olho em indicadores relacionados a ESG⁶…”

E José Flávio complementou: “Pois é… Os debates sobre as possíveis consequências dessa tecnologia para a gestão pública estão ganhando força mundo afora, levando algumas cidades até a banir o uso dessas ferramentas. E isso tudo não se limita aos vieses que podem levar à discriminação. As discussões envolvem a perda de privacidade individual e da liberdade de expressão e falam até mesmo da violação da democracia…”

“Pessoal, entendo o ponto de vista de vocês, porém a Nuveo é uma startup!” - pontuou Maria. “Aceitar riscos faz parte do jogo! Já pensaram como seria se as pessoas e empresas desistissem das inovações por medo de que elas pudessem dar errado? Como o mundo iria evoluir?”

E então finalizou: “É prudente negligenciar essas demandas do mercado e perder o timing de ofertar esse tipo de solução, enquanto outras empresas tomam a dianteira? Como dizem por aí: O ótimo é inimigo do bom… Apesar dos riscos, não seria esse o melhor momento para agir?”

A reunião acabou por trazer mais questionamentos do que decisões. Ao mesmo tempo que ele entendia que essa oportunidade seria perfeita para consolidar a sua empresa no mercado nacional de IA e sentia que se desperdiçasse essa chance poderia abrir caminho para as concorrentes e comprometer o crescimento da sua empresa, ele se perguntava que impactos a implantação de uma solução de reconhecimento facial para a segurança pública poderia trazer para a Nuveo e para a sociedade, principalmente quando preocupações relacionadas a fatores ambientais, sociais e de governança corporativa se intensificavam entre a população e os investidores.

Mas era preciso seguir em frente e José Flávio viu-se então diante de algumas possibilidades…

Uma alternativa era ofertar imediatamente uma solução de reconhecimento facial para segurança pública, aproveitando o momento de grande demanda do mercado para expandir seus negócios e consolidar a sua empresa como referência em IA. Afinal, como ele bem sabia, uma startup precisa crescer rapidamente!

Outra opção era seguir com a ideia de ofertar soluções de reconhecimento facial, porém retardando o lançamento. Dessa forma, poderia investir no aprimoramento da solução, para somente então disponibilizar esse produto ao mercado para fins de vigilância/segurança. Poderia também avaliar qual seria a melhor forma de interagir com o setor público. Participar de programas de parceria entre governos e startups, realizando provas de conceito e um projeto-piloto da sua solução, seria uma alternativa interessante? Porém, isto implicaria declinar o envio da proposta, renunciando à oportunidade atual, e então esperar o surgimento de uma eventual oportunidade no futuro, torcendo para que nenhum concorrente já tenha dominado esse mercado.

Por fim, poderia optar por engavetar a oportunidade de atuar no mercado de segurança pública e continuar com o portfólio de soluções de IA para fins de automação de processos, utilizando essa tecnologia de forma segura e sem riscos adicionais para o negócio.

Se José Flávio já estava dividido antes, agora a decisão parecia ser ainda mais complexa… Ele então convoca os diretores da sua empresa para definir o rumo dos negócios. Não havia mais tempo para decidir se encaminharia ou não uma proposta para essa oportunidade. Seu prazo tinha se esgotado! Era a hora de uma decisão definitiva!

Era esse o momento adequado para a Nuveo investir nesse novo negócio? Qual caminho José Flávio deveria seguir?

SINOPSE

O caso de ensino traz a história da Nuveo, uma startup especializada em automação de processos e que busca crescer e se consolidar no mercado nacional de inteligência artificial (IA). Desde a sua criação, a empresa desenvolveu e patenteou dezenas de algoritmos. Seus principais softwares patenteados são o Ultra OCR e o Smart Vision, algoritmos de visão computacional que permitem a captura de imagens para posterior processamento e análise dos dados e integração com os sistemas dos seus clientes.

Percebendo o crescente interesse das instituições governamentais brasileiras em soluções de visão computacional para o reconhecimento facial, especialmente para vigilância e segurança pública, e estando ciente da expectativa de crescimento desse tipo de soluções no mercado global, José Flávio - fundador e CEO da startup - vê surgir uma oportunidade de expansão dos seus negócios e de crescimento exponencial do seu faturamento.

No entanto, ao pesquisar mais sobre essa oportunidade, percebe também que ela pode vir acompanhada de consequências imprevistas e/ou indesejadas, tais como discriminação, perda de privacidade e violação da democracia, e que discussões sobre o desenvolvimento, implantação e uso éticos dessas soluções estavam se intensificando cada vez mais por todo o mundo.

Diante da dúvida de oferecer ou não as soluções da sua empresa para reconhecimento facial de criminosos visando à melhoria da segurança pública, José Flávio vê-se diante de três possíveis alternativas: (a) seguir em frente, ofertando sua solução e aproveitando a oportunidade identificada; (b) investir em aprimorar a sua solução para somente depois ofertá-la para a gestão pública; (c) desistir desta oportunidade e continuar com o portfólio de soluções de IA para fins de automação de processos.

O caso oferece ao aluno o contexto da situação e outras informações que auxiliam na tomada de decisão, tendo sido redigido com base nas orientações fornecidas por Alberton e Silva (2018) e Faria e Figueiredo (2013).

POSSIBILIDADES DE APLICAÇÃO

Esse caso de ensino destina-se à incorporação do tema de ética digital nos currículos de graduação e pós-graduação, especialmente em disciplinas de tecnologia de informação que abordem ética digital, ESG (environmental, social, and governance) e inteligência artificial.

OBJETIVOS DE APRENDIZADO

Ao final das discussões promovidas pelo caso, é esperado que os alunos:

• Conheçam alguns desafios éticos relacionados à transformação digital e suas consequências para os indivíduos, empresas e sociedade;

• Compreendam que princípios éticos devem ser observados desde o momento do design das soluções de inteligência artificial até sua implantação e utilização e ainda na obtenção, tratamento e uso de dados pessoais;

• Identifiquem algumas ações de mitigação de riscos para que o design e a implantação de sistemas que empregam inteligência artificial sejam realizados de maneira responsável;

• Entendam que investir em ética digital traz impacto social positivo e valor para os negócios.

PREPARAÇÃO PRÉVIA

Visando a nivelar o conhecimento e colaborar com o envolvimento e a participação dos alunos nas discussões, são indicados a seguir alguns materiais para preparação dos participantes, os quais podem eventualmente ser abordados em uma aula prévia à discussão do caso. Em seguida são propostos materiais adicionais para eventual consulta do(a) instrutor(a) e/ou participantes.

MATERIAIS INDICADOS

Conforme plano de aula sugerido a seguir, é indicada a leitura prévia dos seguintes materiais de preparação dos participantes:

1. Documento que apresenta uma visão geral da tecnologia de reconhecimento facial: Centre for Data Ethics and Innovation (2020);

2. Artigo que apresenta princípios éticos para IA, sintetizando seis importantes iniciativas internacionais: Floridi e Cowls (2019);

3. Framework elaborado pelo AI HLEG para o uso ético de IA: European Commission (2019).

MATERIAIS ADICIONAIS

Tabela 1
Materiais complementares para alunos e instrutores.

Material	Indicação
Relatório da Gartner que trata da importância do uso responsável das ferramentas de reconhecimento facial e fornece recomendações: Buytendijk et al. (2020). Matéria do NIST sobre estudo demográfico em algoritmos de reconhecimento facial: National Institute of Standards and Technology [NIST] (2019).	Ampliar e nivelar o conhecimento sobre a tecnologia de reconhecimento facial e dar suporte às questões de discussão do caso.
Matéria da IBM que aborda a diferença entre IA, machine learning e deep learning: Ceron (2019). Matéria da Medium que traz um mapa da IA: Corea (2018).	Alinhar o conhecimento sobre a abrangência da IA e a diferença de abordagens.
Vídeo que aborda alguns desafios éticos e trata da importância de não delegar a tomada de decisões subjetivas exclusivamente às máquinas: Tufekci (2016).	Contribuir com as reflexões sobre a diferença entre inteligência humana e artificial e sobre a importância do estabelecimento de princípios éticos para o desenvolvimento e uso de IA.
Matéria que aborda a regulamentação de ambientes digitais: Crespo (2022).	Apresentar alguns desafios para regulamentação das soluções digitais.
Guia para o uso ético de IA elaborado pelo IEEE (Institute of Electrical and Electronics Engineers, 2017). Documento do governo brasileiro que visa a orientar a pesquisa, o desenvolvimento de soluções e o uso de IA: Ministério da Ciência, Tecnologia e Inovação [MCTI] (2021).	Apresentar algumas iniciativas voltadas à promoção do desenvolvimento e uso responsável de IA.
Relatório da Gartner que apresenta a ética digital como um fator de competitividade: Hamer et al. (2020). Matéria da Forbes que apresenta a ética em IA como fator de competitividade: McKendrick (2019).	Apresentar a ética digital como um fator de competitividade para as empresas.

• Nota. Fonte: Elaborado pelos autores.

QUESTÕES PREPARATÓRIAS

1. O que é um sistema de reconhecimento facial e como ele funciona?

2. Além de falsos positivos, descreva outros riscos associados a essa tecnologia. E quanto aos benefícios? Quais você reconhece?

3. O que é ética digital?

QUESTÕES PROPOSTAS PARA DISCUSSÃO DO CASO

1. Qual o problema enfrentado por José Flávio?

Esta questão tem por objetivo trazer o(a) participante para o cerne da discussão. O problema central enfrentado pelo protagonista está relacionado à oferta de suas soluções de inteligência artificial para segurança pública. Ele sabia que, embora fosse uma oportunidade de expansão dos seus negócios e consolidação do seu empreendimento, a mudança de contexto de uso de sua solução - de automação de processos para segurança pública - envolvia lidar com aspectos éticos que ainda estavam em discussão nos meios acadêmicos e na sociedade e traria desafios que, se não tratados adequadamente, poderiam impactar negativamente as pessoas e sua própria empresa.

Para discutir o problema enfrentado pelo protagonista, vale a pena estabelecer algumas definições e conceitos apresentados nos parágrafos a seguir.

De acordo com a definição original do termo, inteligência artificial (IA) refere-se à capacidade das máquinas e algoritmos de simularem comportamentos humanos (McCarthy et al., 1955). No entanto, é importante ter em mente que inteligência e autonomia são capacidades restritas às pessoas e, embora as máquinas e sistemas sejam capazes de realizar tarefas que já foram exclusivas dos seres humanos (muitas vezes ainda melhor do que estes), isso não significa que elas tenham a capacidade de pensar da mesma forma, de agir de maneira racional e de possuir valores morais (European Commission, 2018; Floridi & Cowls, 2019).

Compreender essa diferença é crucial para entender que a abstração desses conceitos e a atribuição dessas características às máquinas e sistemas é a base para o surgimento de vários dilemas éticos (Institute of Electrical and Electronics Engineers, 2017).

É necessário considerar que o aprendizado das máquinas acontece a partir dos dados com os quais elas são alimentadas e treinadas e que é também a partir deles que os resultados obtidos são constantemente aprimorados.

Algoritmos de machine learning usam técnicas estatísticas para encontrar padrões nos dados e fazer previsões, de acordo com a forma com que foram programados. Já os algoritmos de deep learning vão além e se adaptam sozinhos quando expostos a novos contextos e padrões de dados (Ceron, 2019). Assim, a qualidade dos dados, a técnica empregada e o contexto ao qual esses algoritmos são submetidos influenciam diretamente os resultados alcançados e as consequências geradas.

O uso de dados também pode levar a questões éticas. Geralmente envolvem: (a) o uso ou reuso de dados em contextos, momentos e para propósitos diferentes dos quais ele foi inicialmente consentido (Herschel & Miori, 2017); (b) a ausência de transparência, veracidade e clareza dos termos de consentimento (Weinhardt, 2020), agravada pelo desconhecimento, pelo público em geral, do poder de inferência dos algoritmos a partir dos dados obtidos (Hinds et al., 2020); (c) a falta de entendimento único com relação ao que se constitui um dado público, diferenciando-o visivelmente de um dado privado (Weinhardt, 2020).

Outro ponto relevante a ser considerado é que a velocidade de surgimento de uma nova tecnologia tende a ser muito mais rápida do que o tempo necessário para a fixação e/ou adaptação de instrumentos legais e que as soluções digitais podem transcender territórios nacionais, ampliando ainda mais a complexidade de aplicação das leis (Crespo, 2022).

Entendido o dilema do protagonista, caberia perguntar aos participantes: Quais alternativas ele possuía naquele momento?

2. Quais os prós e contras das alternativas avaliadas por José Flavio?

Tendo sido resgatadas as três alternativas apresentadas no caso, o(a) instrutor(a) deve perguntar acerca dos pontos positivos e negativos de cada uma delas.

Para essa questão é esperado que os alunos façam uma avaliação crítica da situação vivenciada por José Flávio, ponderando as considerações a favor e contra em cada uma das alternativas apresentadas no caso. Os participantes devem estar atentos a pontos como a maturidade e a acurácia das soluções de reconhecimento facial, regulamentações, impactos aos indivíduos, à sociedade e à reputação e competitividade da Nuveo.

A alternativa 1 pode permitir à empresa a entrada em um mercado ainda em desenvolvimento no Brasil, possibilitar a ampliação de suas receitas e de sua carteira de clientes e pode ainda contribuir com a localização de pessoas procuradas pela polícia. No entanto, essa alternativa desconsidera os fatores relacionados à maturidade e acurácia das soluções de reconhecimento facial e as questões éticas que vêm sendo debatidas intensamente no mundo.

Vários são os desafios éticos que podem surgir com o desenvolvimento e a adoção de sistemas que empregam inteligência artificial, acarretando impactos em diferentes níveis, incluindo questões sociais, individuais e ambientais. Alguns deles são (Bird et al., 2020; Muller, 2020):

• Privacidade e vigilância: perda da privacidade pessoal e monitoramento em massa de forma indiscriminada;

• Manipulação de comportamento: uso de informações para influenciar a opinião das pessoas, manipulando suas escolhas e modificando o seu comportamento;

• Obscuridade nos critérios de decisão: desconhecimento sobre quais critérios foram efetivamente utilizados pelos algoritmos em seus processos decisórios;

• Vieses em dados e algoritmos: propagação de vieses contidos nos dados utilizados para treinamento das soluções de IA ou refletidos no desenvolvimento dos algoritmos dessas ferramentas;

• Accountability: ausência de mecanismos claros que permitam identificar o responsável por possíveis danos causados por uma solução de IA.

Além disso, essa alternativa também envolve riscos reputacionais que podem afetar a competitividade da empresa.

A alternativa 2 possibilita que a empresa implemente ações de mitigação aos desafios éticos, de forma a oferecer uma solução que obtenha o máximo benefício da tecnologia, ao mesmo tempo que reduz os riscos para os indivíduos, para a empresa e para a sociedade. Além disso, investimento em ações voltadas à ética digital pode levar a empresa a uma vantagem competitiva. Entretanto, essa alternativa exige investimento em recursos humanos e financeiros, além de demandar tempo para o lançamento da solução, o que pode fazer com que a empresa perca o timing para a entrada nesse mercado.

A alternativa 3 permite que a empresa continue atuando com soluções e riscos já conhecidos. Porém, não possibilita que a empresa aproveite a oportunidade identificada.

Recomenda-se que o instrutor registre as considerações em lousa, utilizando-se uma tabela como a apresentada a seguir.

Tabela 2
Análise comparativa das alternativas.

Alternativa	Prós	Contras
1. Ofertar imediatamente	Entrada em um mercado com projeção de grande crescimento global Possibilidade de ampliação da carteira de clientes Possibilidade de ampliação das receitas Disponibilização de ferramenta alinhada ao Plano Nacional de Segurança Pública e Defesa Social Contribuição com a localização de pessoas procuradas pela polícia	Grau de maturidade e acurácia das soluções de reconhecimento facial Riscos de discriminação de grupos minoritários causada por vieses algorítmicos e de dados, perda de privacidade, uso indevido de imagens, assimetria de poder, entre outros Riscos reputacionais
2. Retardar o lançamento	Possibilidade de implementar ações de mitigação aos riscos relacionados às questões éticas antes da oferta da solução Impactos sociais e reputacionais positivos	Investimento necessário (tempo, dinheiro, capacitação) para implementação de ações de mitigação aos desafios éticos Risco de perder o timing para se tornar relevante no mercado
3. Engavetar a oportunidade	Continuar atuando com soluções e riscos já conhecidos	Não entrar em um mercado com projeção de grande crescimento global

• Nota. Fonte: Elaborado pelos autores.

3. Se você fosse José Flávio, qual alternativa você adotaria? Por quê?

Após a avaliação dos pontos contra e a favor de cada uma das alternativas, o instrutor pode perguntar aos alunos qual adotariam e solicitar que façam uma breve explicação dos motivos.

A discussão pode ser energizada pelo instrutor com a adição de elementos que permitam aos alunos relacionarem as teorias éticas normativas às suas reflexões, trazendo-as de forma mais concreta ao contexto estudado por meio de questões como, por exemplo: “A alternativa que você escolheu seria a mesma se você pertencesse a um grupo minoritário e mais suscetível a vieses?”, “A alternativa escolhida é a que traz mais benefícios do que problemas ao maior número possível de envolvidos no longo prazo?”, entre outras.

Sugere-se que o instrutor questione aos alunos, nas hipóteses das alternativas 1 e 2 (lançar imediatamente ou retardar o lançamento), quais ações poderiam ser tomadas pela empresa de forma a mitigar os riscos relacionados às questões éticas envolvidas e qual forma de relacionamento com o setor público poderia ser adotada.

Caso não tenha feito parte da discussão, a relação entre ética digital e competitividade pode ser abordada pelo instrutor. Uma nova pesquisa pode ser feita com os alunos para verificar se houve mudança de opinião.

4. Quais princípios podem ser seguidos pela Nuveo para o desenvolvimento e a adoção de sistemas éticos de IA?

Organizações internacionais, instituições acadêmicas, sociedade civil e empresas do setor privado têm juntado forças e se empenhado na definição e instituição de princípios baseados nos direitos humanos e na proposição de frameworks éticos a serem adotados para o desenvolvimento e o uso ético de IA. Apesar de existirem diversas iniciativas nesse sentido, ainda não existe um framework ou guia universal (Floridi & Cowls, 2019).

Duas iniciativas que tiveram destaque, de acordo com relatório do BID - Banco Interamericano de Desenvolvimento (Gómez Mont et al., 2020), foram os Princípios da OCDE - aos quais o Brasil aderiu e que fundamentaram a elaboração da Estratégia Brasileira de Inteligência Artificial - e o guia produzido pelo Grupo de Especialistas em IA da União Europeia. Outro destaque desse relatório é o guia desenvolvido pela Aliança Global instituída pelo IEEE - Instituto de Engenheiros Elétricos e Eletrônicos, que, além de fornecer orientações para cada situação analisada dentro do contexto do design ético de sistemas ‘autônomos e inteligentes’, ainda tem sido referência para a criação de padrões (IEEE série P7000) voltados ao uso ético de IA.

O artigo de Floridi e Cowls (2019) é resultado do esforço do autor em consolidar trabalhos relevantes na definição de princípios éticos para o desenvolvimento e adoção de ferramentas de IA. Em linhas gerais, espera-se que o(a)s participantes identifiquem: (a) beneficência: desenvolvimento e adoção de ferramentas de IA que sejam benéficas à humanidade, promovendo o bem-estar, preservando a dignidade e sendo sustentável para o planeta; (b) não maleficência: desenvolvimento e adoção de ferramentas de IA que não causem mal, evitando o uso indevido, prevenindo infrações à privacidade e com limites seguros de operação; (c) autonomia: equilíbrio do poder de decisão que é atribuído aos sistemas de IA; (d) justiça: desenvolvimento e adoção de ferramentas de IA que promovam a prosperidade e a diversidade, não ameacem a solidariedade e não causem discriminação e desigualdades; e (e) explicabilidade: promoção da transparência - com o desenvolvimento de sistemas que sejam entendíveis e interpretáveis - e a definição de responsabilidades (accountability).

Neste momento seria possível ampliar as discussões, indagando aos participantes: Além de observar os princípios éticos, quais recomendações vocês dariam para desenvolvedores de soluções em IA? O que a bibliografia indicada sugere?

5. Partindo dos princípios discutidos na questão anterior, que ações concretas podem ser adotadas pela Nuveo no desenvolvimento e implantação de suas soluções de IA, visando a uma atuação ética?

De forma geral, as recomendações para o desenvolvimento e uso ético de IA envolvem: (a) aspectos técnicos - como a adaptação da arquitetura dos sistemas, o emprego de métodos explicáveis, o conceito de ‘X-by-design’ e a definição de métricas que indicam a confiabilidade técnica e a robustez dos sistemas; (b) aspectos de estrutura e cultura organizacionais - como a atribuição de responsabilidade e accountability a partir do estabelecimento de políticas, códigos de conduta e estruturas de governança, a promoção da diversidade e inclusão nas equipes, além de treinamento e capacitação voltados ao pensamento ético; (c) aspectos educacionais - que promovam a literacia digital da sociedade e que possibilitem o entendimento dos potenciais e dos impactos da IA; e (d) aspectos relacionados à legislação - visando à proteção e garantia dos direitos humanos e sociais e o estímulo ao desenvolvimento dessa tecnologia (European Commission, 2019; IEEE, 2017; Ministério da Ciência, Tecnologia e Inovação [MCTI], 2021).

Como os aspectos relacionados à educação e à legislação estão fora do escopo de atuação da Nuveo, é esperado que os participantes abordem os itens que envolvam aspectos técnicos e de estrutura e cultura organizacionais, como os descritos na Figura 6.

Ao final do encontro, recomenda-se que o instrutor sumarize os principais temas apresentados e estimule os alunos a relatarem suas conclusões.

PLANO DE AULA

O presente plano de aula foi elaborado para uma sessão de 1 hora e 35 minutos, podendo ser ajustado conforme interesse e necessidade do(a) instrutor(a).

Aquecimento (10 minutos): A fim de aumentar o dinamismo das discussões, o instrutor pode iniciar a aula realizando uma simulação que apresente aos alunos, de forma concreta, algum desafio ético da transformação digital. Por exemplo, pode informar que a nota de participação passará a ser atribuída por uma ferramenta que identifica o grau de atenção e interesse dos alunos com base em suas expressões faciais e verificar a reação dos participantes.

Introdução (20 minutos): As questões de preparação visam a nivelar o conhecimento do(a)s participantes acerca dos assuntos abordados neste caso de ensino. Se as questões não tiverem sido apresentadas antecipadamente aos alunos, o instrutor pode solicitar que elas sejam debatidas em pequenos grupos. Alternativamente, pode-se estimular que um ou mais participantes sumarizem as referidas questões no início do encontro.

Estudada há mais de dois mil anos, a ética é o ramo da filosofia que trata da reflexão sobre a conduta humana, com a proposição de teorias que visam ao estabelecimento de princípios morais (Herschel & Miori, 2017). Analogamente, a ética digital também aborda a reflexão sobre a conduta humana, mas com o foco no estabelecimento de princípios morais que permitam guiar o design, a implantação e o uso adequados de ferramentas digitais a fim de minimizar ou evitar efeitos nocivos que eles possam causar às pessoas e à sociedade. Vale ressaltar que o uso ético da inteligência artificial faz parte de um dos pilares da Estratégia Brasileira de Inteligência Artificial - Ebia (MCTI, 2021).

O instrutor pode verificar o entendimento dos participantes sobre a tecnologia de reconhecimento facial questionando sobre as suas características e sobre os fatores que impactam seus resultados. Pode finalizar perguntando, por exemplo: “Quais benefícios as soluções de reconhecimento facial podem trazer?”, “Quais riscos podem estar envolvidos com a utilização dessa tecnologia para fins de segurança pública?” As contribuições trazidas pelos participantes podem ser sintetizadas e anotadas em lousa, como no exemplo a seguir.

Figura 1
Reconhecimento facial.

Em seguida, o(a) instrutor(a) deve iniciar uma nova discussão sobre qual era o dilema enfrentado pelo protagonista e as alternativas apresentadas no caso.

Análise de alternativas (30 minutos): Nesta etapa da discussão, sugere-se que o instrutor faça uma rápida enquete: “Se você fosse o protagonista optaria pela alternativa 1, 2 ou 3?” Desta forma poderá identificar participantes de modo a registrar e contrastar as opiniões, permitindo construir colaborativamente uma tabela comparativa que demonstre os prós e contras de cada alternativa. Pode ainda questionar aos alunos se alguma outra alternativa poderia ser vislumbrada e quais seriam os pontos positivos e negativos dessa opção adicional.

Recomenda-se que a reflexão à luz das teorias éticas normativas seja estimulada, levando os alunos a considerarem valores morais na análise das alternativas. A discussão pode ocorrer sob a ótica de diversas teorias, como a teleológica - que tem foco no resultado das ações e avalia se um ato é ético ou não com base nas suas consequências; a deontológica - que se baseia no respeito aos direitos das outras pessoas e considera éticas as ações que não violem esses direitos; e a virtude ética - que posiciona as virtudes no meio termo entre o excesso e a deficiência (Pollach, 2005; Vial, 2019).

Figura 2
Ações de mitigação.

Quando aplicável, o instrutor pode também trazer à discussão alguns desafios da interação com o setor público, abrangendo questões, por exemplo, de infraestrutura, governança e aspectos legais e abordando algumas possíveis formas de parceria entre startups e governos.

Princípios e recomendações voltados à ética digital (20 minutos): Discutidas as questões anteriores, é sugerido que o instrutor aborde os desafios éticos relacionados aos sistemas de IA e alguns princípios relacionados à ética digital. Para tornar esta etapa mais interativa, o instrutor pode solicitar a um participante que apresente e explique um princípio, escolhendo outros participantes para complementarem a lista. Pode então ampliar as reflexões para abordarem possíveis formas de mitigação dos riscos éticos envolvidos com as alternativas apresentadas, envolvendo os aspectos técnicos e os de estrutura e cultura organizacionais.

Recomenda-se ainda que o instrutor destaque em lousa as contribuições dos alunos relacionadas às possíveis ações de mitigação, como no exemplo a seguir.

Ética digital e competitividade (10 minutos): Após o término das discussões, caso ainda não tenham surgido, o instrutor pode acrescentar aspectos que abordem a relação entre ética digital e competitividade.

É preciso notar que a sociedade cada vez mais exige que as empresas não visem apenas ao lucro e passem a considerar questões relacionadas a ESG em suas métricas de performance. Se por um lado as iniciativas que não estejam alinhadas com os preceitos éticos vigentes e que sejam consideradas moralmente ofensivas podem afetar a reputação das empresas - e consequentemente sua capacidade de sustentação do desempenho organizacional (Vial, 2019), investir em ética digital pode aumentar a confiança na empresa (Albinson et al., 2019), tornando-se para ela uma fonte de vantagem competitiva (Hamer et al., 2020; Jones et al., 2018).

Uma breve rodada de discussões pode ser conduzida e o instrutor pode verificar se esses novos elementos levaram à mudança de opinião a respeito da escolha de alternativas.

Encerramento (5 minutos): Para fechamento, o instrutor pode apresentar um resumo das discussões e, se entender pertinente, solicitar aos alunos, para entrega posterior, a preparação de um mapa mental sintetizando o tema abordado e suas conclusões, contribuindo para a sua avaliação formativa.

DESDOBRAMENTOS DO CASO

Após a análise das alternativas possíveis à época, José Flávio optou por não expandir o uso de sua ferramenta de visão computacional para fins de vigilância/segurança pública, por entender que o estágio das soluções de inteligência artificial e a dificuldade de eliminação de vieses poderiam, mesmo que de forma involuntária, intensificar desigualdades, intolerâncias e problemas sociais. Ele não descarta que a empresa venha a trabalhar com esse negócio no futuro, mas decidiu aguardar até que os debates sobre o tema estejam mais amadurecidos nos meios acadêmicos e na sociedade.

Assim, visando à consolidação e expansão da empresa no mercado de inteligência artificial, a Nuveo continuou com o foco em automação de processos e estabeleceu parcerias estratégicas para embarcar sua tecnologia em dispositivos próximos à fonte geradora dos dados, como dispositivos de IoT (internet of things).

FONTES DE DADOS

Este caso de ensino é baseado em uma história real e foi elaborado a partir dos dados coletados em entrevistas semiestruturadas com o fundador e CEO da Nuveo, José Flávio Pereira. Devido à necessidade de distanciamento social imposta pela pandemia de COVID-19, as entrevistas - ocorridas no segundo semestre de 2021 - foram realizadas por meio de ferramentas de videoconferência. Visando a propiciar mais fluência ao texto, as opiniões dos especialistas consultados por José Flávio foram compiladas e transformadas em diálogos idealizados pelos autores, que ganharam vida com as personagens fictícias: Maria, Pedro e Arthur.

Foram ainda coletados dados secundários a partir de informações disponíveis no website e nas redes sociais da empresa e do protagonista, além de vídeos e materiais jornalísticos encontrados na internet. Informações públicas e relatórios sobre o contexto envolvido no caso também foram pesquisados e podem ser consultados nas referências.

Tabela 3
Dados secundários.

Material consultado	Fonte de dados
Website da empresa	https://www.nuveo.ai/
Rede social profissional da empresa	https://www.linkedin.com/company/nuveo/
Entrevista do CTO da Nuveo sobre a empresa e a IA	https://www.youtube.com/watch?v=x25s0Qwm1q4
Vídeo de apresentação da empresa no Data Science Challenge @ ITA | Edição 2021	https://www.youtube.com/watch?v=BFAuwRjIMNs
Apresentação do CTO sobre a empresa e soluções da Nuveo na II Semana da Computação da USP/Rib. Preto - 2020	https://www.youtube.com/watch?v=lnTnM3TKQgA
Matéria sobre a empresa	https://www.techtudo.com.br/noticias/2018/10/tecnologia-automatiza-processos-burocraticos.ghtml
Vídeo do protagonista sobre a empresa	https://www.youtube.com/watch?v=i-TlRfRYZAY
Relatório da Distrito sobre startups de inteligência artificial	https://materiais.distrito.me/dataminer-report-inteligencia-artificial
Rede social profissional do protagonista	https://www.linkedin.com/in/joseflaviopereira/

• Nota. Fonte: Elaborado pelos autores.

REFERÊNCIAS

• Alberton, A., & Silva, A. B. da. (2018). Como escrever um bom caso para ensino? Reflexões sobre o método. Revista de Administração Contemporânea, 22(5), 745-761. https://doi.org/10.1590/1982-7849rac2018180212
  » https://doi.org/10.1590/1982-7849rac2018180212
• Albinson, N., Balaji, S., & Chu, Y. (2019). Building digital trust: Technology can lead the way. Deloitte Insights. https://www2.deloitte.com/lu/en/pages/innovation/articles/building-long-term-trust-in-digital-technology.html
  » https://www2.deloitte.com/lu/en/pages/innovation/articles/building-long-term-trust-in-digital-technology.html
• Bird, E., Fox-Skelly, J., Jenner, N., Larbey, R., Weitkamp, E., & Winfield, A. (2020). The ethics of artificial intelligence: Issues and initiatives. European Parliament, Directorate-General for Parliamentary Research Services. https://doi.org/10.2861/6644
  » https://doi.org/10.2861/6644
• Buytendijk, F., Willemsen, B., Jones, L. C., & Hare, J. (2020). Digital ethics: Use facial recognition technology responsibly. Gartner. https://www.gartner.com/en/documents/3990243
  » https://www.gartner.com/en/documents/3990243
• Centre for Data Ethics and Innovation. (2020). Snapshot series: Facial recognition technology report. https://www.gov.uk/government/publications/cdei-publishes-briefing-paper-on-facial-recognition-technology
  » https://www.gov.uk/government/publications/cdei-publishes-briefing-paper-on-facial-recognition-technology
• Ceron, R. (2019, December 5). AI, machine learning and deep learning: What’s the difference? IBM. https://www.ibm.com/blogs/systems/ai-machine-learning-and-deep-learning-whats-the-difference/
  » https://www.ibm.com/blogs/systems/ai-machine-learning-and-deep-learning-whats-the-difference/
• Corea, F. (2018, August 29). AI knowledge map: How to classify AI technologies. Medium. https://francesco-ai.medium.com/ai-knowledge-map-how-to-classify-ai-technologies-6c073b969020
  » https://francesco-ai.medium.com/ai-knowledge-map-how-to-classify-ai-technologies-6c073b969020
• Crespo, M. (2022, January 16). Metaverso: Teremos leis para reger o novo mundo? LinkedIn. https://www.linkedin.com/pulse/metaverso-teremos-leis-para-reger-o-novo-mundo-crespo-ph-d-ccep-i/
  » https://www.linkedin.com/pulse/metaverso-teremos-leis-para-reger-o-novo-mundo-crespo-ph-d-ccep-i/
• European Commission, Directorate-General for Communications Networks, Content and Technology. (2019). Ethics guidelines for trustworthy AI. https://doi.org/10.2759/346720
  » https://doi.org/10.2759/346720
• European Commission, Directorate-General for Research and Innovation, European Group on Ethics in Science and New Technologies. (2018, March 9). Statement on artificial intelligence, robotics and ‘autonomous’ systems. https://doi.org/10.2777/786515
  » https://doi.org/10.2777/786515
• Faria, M., & Figueiredo, K. F. (2013). Casos de ensino no Brasil: Análise bibliométrica e orientações para autores. Revista de Administração Contemporânea, 17(2), 176-197. https://doi.org/10.1590/s1415-65552013000200004
  » https://doi.org/10.1590/s1415-65552013000200004
• Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1). https://doi.org/10.1162/99608f92.8cd550d1
  » https://doi.org/10.1162/99608f92.8cd550d1
• Gómez Mont, C., Pozo, C. M. D., Pinto, C. M., & Alcocer, A. V. M. D. C. (2020). A inteligencia artificial a serviço do bem social na America Latina e no Caribe: Panorama da região e retrato de doze países. Banco Interamericano de Desenvolvimento. https://doi.org/10.18235/0002393
  » https://doi.org/10.18235/0002393
• Hamer, P. D., Gove, K., Willemsen, B., Struckman, C., & Buytendijk, F. (2020). Digital ethics: From compliance duty to competitive differentiator. Gartner. https://www.gartner.com/en/documents/3989522
  » https://www.gartner.com/en/documents/3989522
• Herschel, R., & Miori, V. M. (2017). Ethics & big data. Technology in Society, 49, 31-36. https://doi.org/10.1016/j.techsoc.2017.03.003
  » https://doi.org/10.1016/j.techsoc.2017.03.003
• Hinds, J., Williams, E. J., & Joinson, A. N. (2020). “It wouldn’t happen to me”: Privacy concerns and perspectives following the Cambridge Analytica scandal. International Journal of Human-Computer Studies, 143, 102498. https://doi.org/10.1016/j.ijhcs.2020.102498
  » https://doi.org/10.1016/j.ijhcs.2020.102498
• Institute of Electrical and Electronics Engineers (2017). Ethically aligned design: A vision for prioritizing human well-being with autonomous and intelligent systems (Version 2). IEEE. https://standards.ieee.org/wp-content/uploads/import/documents/other/ead_v2.pdf
  » https://standards.ieee.org/wp-content/uploads/import/documents/other/ead_v2.pdf
• Jones, L. C, Buytendijk, F., & Hare, J. (2018). Data ethics enables business value. Gartner. https://www.gartner.com/en/documents/3894128
  » https://www.gartner.com/en/documents/3894128
• McCarthy, J., Minsky, M. L., Rochester, N., & Shannon, C. E. (1955). A proposal for the Dartmouth summer research project on artificial intelligence. Dartmouth College.
• McKendrick, J. (2019, July 7). Ethical artificial intelligence becomes a supreme competitive advantage. Forbes. https://www.forbes.com/sites/joemckendrick/2019/07/07/ethical-artificial-intelligence-becomes-a-supreme-competitive-advantage/?sh=3967356f1a8f
  » https://www.forbes.com/sites/joemckendrick/2019/07/07/ethical-artificial-intelligence-becomes-a-supreme-competitive-advantage/?sh=3967356f1a8f
• Ministério da Ciência, Tecnologia e Inovação (2021). Estratégia brasileira de inteligência artificial. https://www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/inteligencia-artificial
  » https://www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/inteligencia-artificial
• Muller, V. C. (2020). Ethics of artificial intelligence and robotics. Stanford Encyclopedia of Philosophy. https://plato.stanford.edu/entries/ethics-ai/
  » https://plato.stanford.edu/entries/ethics-ai/
• National Institute of Standards and Technology. (2019, December 19). NIST study evaluates effects of race, age, sex on face recognition software. https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
  » https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
• Pollach, I. (2005). A typology of communicative strategies in online privacy policies: Ethics, power and informed consent. Journal of Business Ethics, 62(3), 221-235. https://doi.org/10.1007/s10551-005-7898-3
  » https://doi.org/10.1007/s10551-005-7898-3
• Tufekci, Z. (2016). Machine intelligence makes human morals more important. TEDSummit. https://www.ted.com/talks/zeynep_tufekci_machine_intelligence_makes_human_morals_more_important
  » https://www.ted.com/talks/zeynep_tufekci_machine_intelligence_makes_human_morals_more_important
• Vial, G. (2019). Understanding digital transformation: A review and a research agenda. Journal of Strategic Information Systems, 28(2), 118-144. https://doi.org/10.1016/j.jsis.2019.01.003
  » https://doi.org/10.1016/j.jsis.2019.01.003
• Weinhardt, M. (2020). Ethical issues in the use of big data for social research. Historical Social Research, 45(3), 342-368. https://doi.org/10.12759/hsr.45.2020.3.342-368
  » https://doi.org/10.12759/hsr.45.2020.3.342-368

• 1
  . Portaria n.º 793 (2019). Portaria n.º 793, de 24 de outubro de 2019. Regulamenta o incentivo financeiro das ações do eixo enfrentamento à criminalidade violenta, no âmbito da política nacional de segurança pública e defesa social e do sistema único de segurança pública, com os recursos do fundo nacional de segurança pública, previstos no inciso I do art. 7º da lei n.º 13.756, de 12 de dezembro de 2018. Ministério da Justiça e Segurança Pública. https://dspace.mj.gov.br/handle/1/1380
• 2
  . Instituto GESC: Fundado em 2004 pela Faculdade FIA de Administração e Negócios (USP), o instituto reúne diversos profissionais especializados que fornecem consultoria social para organizações da sociedade civil (OSCs).
• 3
  . Nota Fiscal Paulista: Programa do Governo de São Paulo que visa a estimular o controle fiscal no estado. Ao solicitar a nota fiscal no momento da compra, os consumidores participantes podem receber de volta parte do ICMS recolhido pelo estabelecimento ou optar por direcionar esse crédito para uma instituição do terceiro setor.
• 4
  . Segundo o Sebrae, uma empresa de pequeno porte (EPP) tem entre 10 e 49 funcionários e faturamento anual entre R$ 360 mil e R$ 4,8 milhões (recuperado em 28 de outubro de 2022 de https://www.sebrae.com.br/sites/PortalSebrae/ufs/ac/artigos/epp-entenda-o-que-e-uma-empresa-de-pequeno-porte,305fd6ab067d9710VgnVCM100000d701210aRCRD).
• 5
  . LGBTQIA+: Acrônimo para: lésbicas, gays, bissexuais, transexuais ou travestis, queer, intersexo e assexuais. O símbolo de adição (+) é utilizado de forma a incluir as demais orientações sexuais e identidades de gênero.
• 6
  . ESG: Acrônimo para environmental, social, and governance, referindo-se à atuação da empresa de uma maneira mais holística, com cuidados ambientais, preocupação em gerar impactos sociais positivos e com adoção de práticas de governança corporativa.

• Classificação JEL:

  M13, M14, M15.

• Relatório de Revisão por Pares:

  A disponibilização do Relatório de Revisão por Pares não foi autorizada pelos revisores.

• Disciplina:

  Tecnologia da Informação, ESG

• Temática:

  Ética Digital, Inteligência Artificial

• Setor de atividade:

  Tecnologia da Informação, Segurança Pública

• Região:

  Brasil

• Financiamento

  Os autores relataram que não houve suporte financeiro para a pesquisa deste artigo.

• Direitos Autorais

  A RAC detém os direitos autorais deste conteúdo.

• Verificação de Plágio

  A RAC mantém a prática de submeter todos os documentos aprovados para publicação à verificação de plágio, mediante o emprego de ferramentas específicas, e.g.: iThenticate.

• Método de Revisão por Pares

  Este conteúdo foi avaliado utilizando o processo de revisão por pares duplo-cego (double-blind peer-review). A divulgação das informações dos pareceristas constantes na primeira página é feita somente após a conclusão do processo avaliativo, e com o consentimento voluntário dos respectivos pareceristas.

• Disponibilidade dos Dados

  A RAC incentiva o compartilhamento de dados mas, por observância a ditames éticos, não demanda a divulgação de qualquer meio de identificação de sujeitos de pesquisa, preservando a privacidade dos sujeitos de pesquisa. A prática de open data é viabilizar a reproducibilidade de resultados, e assegurar a irrestrita transparência dos resultados da pesquisa publicada, sem que seja demandada a identidade de sujeitos de pesquisa.

ANEXO 1

1.1 Previsão de crescimento de IA, biometria e reconhecimento facial

Tabela A1
Previsão das taxas de crescimento de IA, biometria e reconhecimento facial.

Mercado	Previsão de crescimento	Dimensões
Mercado global de inteligência artificial	38,1% a.a.	O mercado global de inteligência artificial atingiu a marca de US$ 93,5 bilhões em 2021 e tem expectativa de crescimento de 38,1% entre 2022 e 2030.
Mercado global de biometria	17.7% a.a.	Estima-se que o mercado global de biometria possa crescer a uma taxa de 17,67% entre 2019 e 2026, chegando a US$ 62,3 bilhões em 2026.
Mercado global de reconhecimento facial	18% a.a.	O segmento de mercado específico de reconhecimento facial global, que superou a marca de US$ 3 bilhões em 2019, poderá alcançar uma receita total superior a US$ 12 bilhões em 2026.
Mercado LATAM de biometria	17,8% a.a.	O mercado de biometria na América Latina pode crescer de US$ 2,63 bilhões em 2021 para receitas totais de US$ 7,09 milhões em 2027.
Mercado LATAM de reconhecimento facial	16,4% a.a.	Estima-se que o mercado de reconhecimento facial na América Latina cresça 16,35% ao ano no período de 2019 a 2028.

• Nota. Fonte: Elaborado pelos autores a partir de diferentes relatórios: Grand View Research (recuperado em 28 de outubro de 2022 de https://www.grandviewresearch.com/industry-analysis/artificial-intelligence-ai-market), Maximize Marketing Research (recuperado em 28 de outubro de 2022 de https://www.maximizemarketresearch.com/market-report/global-biometrics-technology-market/44408/), Global Marketing Insights (recuperado em 28 de outubro de 2022 de https://www.gminsights.com/industry-analysis/facial-recognition-market), IMARC (recuperado em 28 de outubro de 2022 de https://www.imarcgroup.com/latin-america-biometrics-market) e MarketResearch.com (recuperado em 28 de outubro de 2022 de https://www.marketresearch.com/Inkwood-Research-v4104/Latin-America-Facial-Recognition-Forecast-13507333/).

1.2 Uso de reconhecimento facial para gestão pública no Brasil

Figura A1
Uso de ferramentas de reconhecimento facial para gestão pública no Brasil.

Figura A2
Implementações de ferramentas de reconhecimento facial para gestão pública no Brasil entre 2011 e mar./2019.

1.3 Acurácia dos softwares de reconhecimento facial

Dados do National Institute of Standards and Technology - NIST (recuperado em 3 de novembro de 2022 de https://doi.org/10.6028/NIST.IR.8238) apontam que a acurácia dos softwares de reconhecimento facial vem evoluindo e as taxas de erro chegam a ser inferiores a 0,02% quando imagens com boa qualidade são utilizadas para encontrar correspondências em uma galeria de 12 milhões de indivíduos.

No entanto, de acordo com esse instituto, o reconhecimento facial a partir de câmeras de videomonitoramento é muito mais desafiador, pois envolve várias condições, como por exemplo: iluminação do ambiente, resolução e posicionamento das câmeras, faces desfocadas ou obstruídas, velocidade de movimentação, posicionamento dos rostos e envelhecimento. Testes realizados mostraram que a taxa de erros na identificação pode variar de menos de 1% a mais de 40%, dependendo do algoritmo utilizado, e a taxa de falso negativo de identificação com imagens obtidas a partir de câmeras profissionais instaladas em tetos pode variar de 20% a mais de 90%.

Ainda segundo o NIST, a taxa de acurácia também é influenciada por fatores como raça, gênero e faixa etária:

Tabela A2
Efeitos da etnia, idade e sexo na acurácia do software de reconhecimento facial.

Avaliação	Resultado
Sexo	Existência de duas a cinco vezes mais falsos positivos para mulheres que para homens.
Etnia	Maiores taxas de falsos positivos ocorreram com africanos e asiáticos, seguidos por centro-americanos. As pessoas do Leste Europeu apresentaram a menor taxa de falsos positivos. Algoritmos desenvolvidos na China apresentaram baixa taxa de erros para asiáticos, algumas vezes menores até que para caucasianos. Algoritmos desenvolvidos nos EUA apresentaram a maior taxa de falsos positivos para índios americanos.
Idade	Altas taxas de falsos positivos para idosos e crianças.

• Nota. Fonte: Elaborado pelos autores com base em pesquisa do NIST em 2018 (recuperado em 16 de outubro de 2021 de https://doi.org/10.6028/NIST.IR.8280).

ANEXO 2

Glossário de termos técnicos

• API: application programming interface, ou interface de programação de aplicações, é a tecnologia que permite a comunicação entre diferentes sistemas computacionais.

• Cloud, ou nuvem, é uma arquitetura tecnológica que disponibiliza sob demanda recursos computacionais remotos, desde armazenamento de dados até capacidade computacional.

• Deep learning, ou aprendizado profundo, é um ramo do aprendizado de máquina (machine learning) que busca ensinar os sistemas computacionais a agir e interpretar dados de uma maneira mais natural, geralmente com uso de redes neurais.

• IA: inteligência artificial: são sistemas computacionais baseados no comportamento humano para resolver problemas e/ou tomar decisões.

• Machine learning, ou aprendizado de máquina, é um sistema que pode modificar seu próprio comportamento autonomamente, tendo como base treinamentos recursivos, com o mínimo de interferência humana.

• Smart Vision é um sistema patenteado de visão computacional utilizado para monitoramento inteligente.

• Ultra OCR: Ultra Optical Character Recognition é um sistema patenteado utilizado para reconhecimento ótico de caracteres.

Editado por

Editor-chefe:

Marcelo de Souza Bispo (Universidade Federal da Paraíba, PPGA, Brasil)

Editora Associada:

Paula Castro Pires de Souza Chimenti (Universidade Federal do Rio de Janeiro, COPPEAD, Brasil)

Disponibilidade de dados

A RAC incentiva o compartilhamento de dados mas, por observância a ditames éticos, não demanda a divulgação de qualquer meio de identificação de sujeitos de pesquisa, preservando a privacidade dos sujeitos de pesquisa. A prática de open data é viabilizar a reproducibilidade de resultados, e assegurar a irrestrita transparência dos resultados da pesquisa publicada, sem que seja demandada a identidade de sujeitos de pesquisa.

Datas de Publicação

• Publicação nesta coleção
  22 Maio 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  02 Mar 2022
• Revisado
  11 Jan 2023
• Aceito
  18 Jan 2023