Twitter usa o aprendizado de máquina para cortar fotos e mostrar a parte mais interessante

Compartilhar:

Sabe quando você posta uma imagem no Twitter e a prévia, aquele corte na imagem antes de visualizá-la em sua versão completa, mostra uma parte da foto completamente desinteressante? Pois bem, esse problema deve acabar, porque já faz parte o sistema aprendizado de máquinas, a fim de escolher melhor o que aparece nas miniaturas.

Tal atualização já vem sendo trabalhada há algum tempo pelos desenvolvedores da plataforma, segundo o post no seu blog oficial. Inicialmente, eles utilizavam o reconhecimento facial para cortar as imagens, mas não funcionava nos casos de cenários, objetos e animais, especialmente os gatos – ainda há falhas na identificação, o que pode exibir prévias estranhas –, como podemos ver nos exemplos abaixo:


Lado esquerdo sem a melhoria, lado direito com a melhoria no auto recorte


Para resolver isso, a tecnologia busca o que é mais interessante na imagem, ou seja, as partes mais importantes que chamam a atenção dos olhos humanos no primeiro contato, sendo eles rostos, textos e animais, por exemplo. Eles utilizaram dados de estudos acadêmicos em rastreamento ocular, visando perceber que parte da imagem é analisada primeiro.


Marcação das partes salientes da foto


O maior desafio da equipe foi conseguir treinar a rede neural para identificar as áreas em tempo real na plataforma, mas o resultado foi além do esperado, conseguindo fazer com que a velocidade fosse dez vezes mais rápida do que o design original. Com isso, a detecção de saliências nas imagens é feita assim que elas são publicadas no Twitter.

As alterações devem ser colocadas em prática em breve e disponibilizados a todos os usuários da rede nos apps iOS e Android e na web.


FONTE(S) THE VERGE / TWITTER

Nenhum comentário