FaceReader 7.1 e o seu desempenho na prática

Tempo de leitura: 7 minutos

FaceReader 7.1 é o que há de mais avançado em tecnologia capaz de fazer a leitura de Actions Units. Nesse artigo, escrito para o blog Noldus por Jan Zumhasch, mestre em ciência da comunicação, revela o poderio do software em dados.

Ponto de partida

De acordo com Ekman (1970 1 ), sete emoções básicas independentes de cultivo podem ser distinguidos: alegria, raiva, nojo, tristeza, surpresa, medo e, mais tarde, também a emoção desprezo 2 . Estes correspondem a expressões faciais específicas e podem, portanto, ser observados na face.

O sistema de observação mais empiricamente fundamentado para identificar essas emoções é o Sistema de Codificação de Ações Faciais (FACS) desenvolvido por Ekman e colaboradores (1978 3 ), revisado repetidamente, posteriormente revisado (1992 e 2002) e usado por inúmeros pesquisadores. Além disso, foi usado para desenvolver o FaceReader, uma ferramenta de software para analisar essas expressões faciais e emoções automaticamente . Mas quão bom é o software fazer o seu trabalho?

Para o desempenho da versão 6, Lewinski et al. (2014 4 ) publicou um estudo de validação. Enquanto isso, o software foi revisado e expandido. Como sou eu mesmo um FACS-Coder certificado, fiquei muito interessado em testar uma versão mais recente do software.

Testando a ferramenta de software de reconhecimento de expressão facial

Na minha tese de mestrado, validei a versão atual 7.1 do FaceReader, incluindo o módulo de unidade de ação . Para especificar essa parte da investigação, usei materiais de estudo selecionados, incluindo fotos e vídeos do “Conjunto de Expressões Faciais Dinâmicas de Amsterdã” (ADFES) 5 e material extraído do Sistema de Codificação de Ações Faciais (FACS), o Santo Graal para Aprendizagem. sobre o rosto.

Resultados

Ao todo, codifiquei manualmente 176 fotos, além de 143 vídeos. Depois disso, eu tinha as combinações Action-Unit e as emoções correspondentes para cada foto e vídeo que eu poderia comparar com os resultados do FaceReader.

  1. Alto desempenho com base na alta qualidade de fotos e vídeos

    O FaceReader reconheceu a foto e os vídeos incluídos no ADFES-dataset com alta precisão ao analisar seis emoções básicas: alegria, tristeza, raiva, surpresa, medo e nojo e, além disso, as expressões faciais neutras.

    Acordo entre os rótulos emocionais de fotos e vídeos do banco de dados ADFES e os resultados do FaceReader

O recall das unidades de ação corretas também foi muito alto. As explicações exatas de “Recall”, “Precision” e “F1” podem ser encontradas em Lewinsky et al. validação de 2014. Por exemplo, o “Recall” para AU 1 no gráfico a seguir significa que 113 de 122 vezes o FaceReader identificou corretamente a unidade de ação. Isso é igual a 0,93 ou 93%, um resultado incrível.

Acordo de Unidades de Ação entre FACS-Coder e FaceReader em fotos e vídeos do ADFES-database

  1. Em suma, todos os resultados estão acima dos achados de Lewinsky et al. 2014, tanto em recordação de emoções e unidades de ação. Além disso, os valores para a precisão das seis emoções básicas correspondem aproximadamente aos valores ou especificações no manual do software. A única diferença está na identificação menos acurada do desprezo básico da emoção. No entanto, deve-se notar que o FaceReader ainda está em um estado experimental para a detecção dessa emoção específica.Além disso, deve ser dito que o FaceReader classificou as expressões de desprezo como neutras porque a barra de intensidade era muito mais alta para o neutro do que para o desprezo. A razão para isso pode ser porque o desprezo é uma expressão bastante sutil e o FaceReader tem seus problemas com intensidades muito baixas de expressões faciais (veja abaixo).
  2. Dificuldades específicas com baixa qualidade de imagemA análise para o material de treinamento selecionado do FACS mostra uma imagem mais sutil: por um lado, em média, o FaceReader identificou precisamente as emoções observáveis ​​nos vídeos. Em última análise, apenas três não foram suficientemente precisos detectados. Os “valores de desempenho” calculados no presente trabalho e o “índice de concordância” calculado falam por uma confiabilidade relativamente alta do software. Por outro lado, o FaceReader reconheceu menos exatamente as emoções básicas contidas nos vídeos do FACS, como nas visualizações emocionais dos ADFES.

    No entanto, deve-se levar em conta que as expressões faciais do material FACS selecionado contêm apenas emoções parcialmente básicas com pouca atividade muscular pronunciada e baixas intensidades, razão pela qual o FaceReader frequentemente deu à expressão facial neutra uma prioridade mais alta do que uma emoção básica. codificação. Incorretamente, o FaceReader falhou nesse teste de resistência.

    Embora o FaceReader tenha sido incrível em identificar a correta combinação de unidade de ação para uma certa expressão facial, surpreendentemente o software ainda não conseguiu identificar a emoção básica correta e correspondente que poderia indicar que a análise de unidades de ação e emoções são duas coisas diferentes para FaceReader quando na realidade essas combinações de unidade de ação indicam uma emoção e o FaceReader às vezes não consegue fazer a conexão parece.

    Portanto, é necessário esclarecer por que o FaceReader comete erros ao analisar certas fotos de alta qualidade, às vezes mesmo quando a combinação Ação-Unidade foi identificada corretamente, mas a emoção correspondente correspondente não foi e também porque às vezes uma foto de excelente qualidade não podia ser analisado pelo FaceReader. Uma ideia para tornar o software mais flexível seria apoiar as imagens de perfil, o que significa que as emoções e as unidades de ação podem ser analisadas, mesmo quando o rosto só pode ser visto de lado.

Maior precisão e capacidade de desempenho

Apesar de tudo, a mais recente adição nas versões da família FaceReader (versão 7.1) mostra que o software progrediu ao longo dos anos e continua a fazê-lo. O estudo de validação mostra maior precisão e capacidade de desempenho. Enquanto a qualidade da foto e do vídeo for alta (como indicado no manual do FaceReader), o ângulo da câmera é reto, mostra a frente do rosto e o raio está correto, os resultados serão excelentes.

As questões mais surpreendentes e também mais relevantes do FaceReader estão listadas abaixo:

  • O FaceReader é realmente bom em descobrir a emoção correta, mas em muitos casos o valor do parâmetro não é alto o suficiente para ser rotulado corretamente. Em vez disso, o status facial neutro é exibido.
  • O FaceReader às vezes produz resultados diferentes para fotos idênticas. Este é o caso das emoções, assim como das combinações Ação-Unidade e é um dos resultados mais marcantes da validação. No que diz respeito às combinações de unidades de ação: mesmo as intensidades parecem diferir de tempos em tempos com a mesma foto exata.
  • Às vezes, o FaceReader não pode analisar uma foto aparentemente “perfeita” que tenha as melhores condições para uma análise do FaceReader de acordo com o manual.

O fato é que o FaceReader é incrível se você quiser analisar expressões faciais e emoções, e o software tem um futuro brilhante, considerando a progressiva progressiva digitalização e crescente interesse das empresas em conhecer o estado emocional de seus grupos-alvo.

Convidado bogger Jan Zumhasch

FaceReader é um bom investimento?

Bem, se considerarmos apenas os dados aqui mencionados por um mestre em ciência da comunicação, podemos ver que o software é o investimento mais acessível para empresas que buscam por soluções práticas e que gerem resultados.

Sua implementação poderia economizar muito tempo, dar mais agilidade, o que aumentaria o lucro e pagaria todo investimento.

Referências

  1. Ekman, P. (1970). Expressões Faciais Universais de Emoções. Pesquisa de Saúde Mental da Califórnia Digest , 8 (4) , 151-158.
  2. Ekman, P. & Heider, KG (1988). A universalidade de uma expressão de desprezo: uma replicação. Motivation and Emotion , 12 (3) , 303-308.
  3. Ekman, P., Friesen, WV & Hager, JC (2002). Sistema de Codificação de Ação Facial. Salt Lake City: Research Nexus, uma subsidiária da Network Information Research Corporation.
  4. Lewinski, P; Fransen, ML; Tan, ESH (2014). Prevendo a Eficácia Publicitária por Expressões Faciais em Resposta a Estímulos Persuasivos Divertidos. Journal of Neuroscience, Psychology, and Economics, 7 , 1-14.
  5. Van der Schalk, J., Hawk, ST, Fischer, AH e Doosje, BJ (no prelo). Mover faces, procurando lugares: O Conjunto de Expressões Faciais Dinâmicas de Amsterdã (ADFES), Emoção .

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *