Ajuste de Limiar

Antes de uma aplicação entrar em produção é necessário calibrar o valor do Limiar de aceitação do serviço de biometria, ou seja, encontrar o ponto de operação ideal para o cenário de uso em questão. Se a calibração não for executada, as taxas de erro (falsa aceitação e falsa rejeição) podem ser afetadas significativamente.

O ajuste do limiar é um procedimento que envolve uma etapa de testes com a aplicação real e uma amostra representativa de usuários reais. Durante essa etapa, o desenvolvedor da aplicação deve realizar uma sequência de operações de cadastro e verificação para gerar amostras de áudio que serão utilizadas no processo de calibração.

Os áudios gerados durante esse período serão coletados e utilizados pelo CPQD para gerar as curvas de operação do sistema, no cenário de uso da aplicação. Por isso é importante que as condições do teste sejam o mais próximo possível da operação real. A partir da análise dessas curvas será possível definir o limiar de aceitação dos scores de autenticação.

Procedimento de calibração

Para realizar a calibração o desenvolvedor da aplicação deverá:

• acordar as condições e o período de execução do teste, com o CPQD. O CPQD irá fornecer o acesso a um ambiente de teste do serviço de biometria durante esse período;

• integrar a aplicação aos serviços biométricos;

• definir um prefixo comum para todos os voiceprints gerados durante o teste. Por ex, utilize um prefixo curto que identifique a aplicação. Isso é necessário para identificar os áudios gerados pela aplicação durante o teste;

• cadastrar no mínimo 20 usuários legítimos, em condições semelhantes ao previsto para a aplicação real:

  • grave os arquivos de áudio usando os mesmos canais de comunicação esperados (URA, celular, etc);

  • o áudio deve conter a mesma duração média, quantidade de repetições e frase de acesso (se aplicável);

• realizar verificações para os usuários cadastrados. Ignore o resultado (score), uma vez que ainda não temos o valor do limiar de aceitação;

  • autenticar cada usuário por pelo menos 5 vezes;

  • utilize apenas usuários legítimos para o teste;

  • varie o dispositivo utilizado, como o aparelho celular;

  • varie o ambiente, realize o teste dentro de casa, em cafeterias, parques, ruas, e onde fizer sentido para a aplicação;

• não realize simulações de ataques durante os testes. O objetivo do teste é encontrar o ponto de operação em que se define um impostor de um usuário legítimo. Tentativas de ataques irão prejudicar o resultado da curva de operação e o desempenho futuro do sistema;

• fornecer ao CPQD o prefixo comum dos voiceprints, e o período de início e fim da realização do teste. O CPQD irá extrair os áudios, realizar a análise dos dados e gerar a curva de operação;

• com a curva de operação, defina o limiar de aceitaçao adequado, conforme o nível de criticidade do uso da aplicação (mais restrito, ou mais permissivo). Configure sua aplicação para enviar esse valor para o serviço biométrico nas autenticações futuras (ver atributo min_verification_score da API).