Sketch2Photo e a comunicação audiovisual

Surpreendente por duas razões: a aplicação em si e a comunicação criada para a apresentação na Siggraph Asia 2009. Sketch2Photo é um sistema de edição e composição de imagem digital desenvolvido por uma equipa de investigadores, Tao Chen, Ming-Ming Cheng, Ping Tan, Ariel Shamir, Shi-Min Hu, do Departmento de Ciência da Computação e Tecnologia da Universidade de Tsinghua na China.
Começando pelo software é algo que há muito se espera, pelo vídeo parece-nos que estamos perante muito bons resultados, contudo não seria tão optimista como Devin Coldewey ao ponto de dizer que "I don’t want to be premature here, but I’d say tentatively that this does appear to be the greatest thing of all time".

Sistema de pipeline

Claramente que é uma ferramenta de grande importância e que poderá ter um grande impacto na composição de imagens, no modo como as pessoas poderão começar a comunicar visualmente, uma espécie de novo avanço para a Web2.0 na área da imagem digital. Mas estamos apenas ainda a ver os exemplos que a equipa nos ofereceu a ver, vamos ter de ver a ferramenta a funcionar de modo efectivo.

Resultados

Agora o segundo motivo do meu entusiasmo está relacionado com o vídeo montado por estes investigadores para darem a conhecer numa conferência científica o modo de funcionamento da sua aplicação. Veja-se o regular abstract típico de um paper académico, aqui abaixo e compare-se o seu efeito com o vídeo. Facilmente se percebe que o alcance da mensagem será muito diferente e até podemos perceber porque de repente uma pequena aplicação desenvolvida com tecnologias que muitos outros grupos de investigação estão a utilizar têm tanto buzz na web.

We present a system that composes a realistic picture from a simple freehand sketch annotated with text labels. The composed picture is generated by seamlessly stitching several photographs in agreement with the sketch and text labels; these are found by searching the Internet. Although online image search generates many inappropriate results, our system is able to automatically select suitable photographs to generate a high quality composition, using a filtering scheme to exclude undesirable images. We also provide a novel image blending algorithm to allow seamless image composition. Each blending result is given a numeric score, allowing us to find an optimal combination of discovered images. Experimental results show the method is very successful; we also evaluate our system using the results from two user studies.