Tecnologia de ampliação de imagem parece até magia

Olha só esse negócio, que impressionante.

Quando se pega uma imagem de baixa resolução e você amplia, você joga um problema complicado para o computador resolver, ele precisa aumentar o nível de informação na ampliação. Mas se a imagem de baixa resolução contém  pouca informação, o que o programa faz é pegar a área da imagem, dividir por blocos de cor e tentar interpolar isso para ampliar. Isso resulta sempre em imagens borradas, porque, afinal, o computador não é nenhum gênio capaz de extrair dados do nada para completar o que falta numa ampliação.

Não era. Saca só a macumba:

https://youtu.be/4g7JVSewu4Q

Trata-se do SR3. Conforme o resumo do paper,

A pesquisa é uma abordagem à imagem S uper- R eSolution via R epeated Refinement. SR3 adapta modelos probabilísticos de difusão de redução de ruído para geração de imagem condicional e produz uma  super-resolução por meio de um processo de denoising estocástico. A inferência começa com ruído Gaussiano puro e refina iterativamente a saída ruidosa usando um modelo U-Net treinado na redução de ruído em vários níveis de ruído. SR3 exibe forte desempenho em tarefas de super-resolução em diferentes fatores de ampliação, em rostos e imagens naturais. Conduzimos a avaliação humana em uma tarefa de super-resolução facial 8 × padrão no CelebA-HQ, comparando com os métodos SOTA GAN. SR3 atinge uma taxa de confusão próxima a 50%, sugerindo saídas foto-realistas, enquanto GANs não excedem uma taxa de confusão de 34%.

Como podemos ver no artigo original, quando se amplia uma imagem de baixa resolução, usando o sistema bicúbico, ela tradicionalmente fica borrada:

…Mas esse sistema de múltiplas varreduras chamado SR3, pode gerar um resultado surpreendente.

Observe o resultado da ampliação da imagem acima em SR3 com a imagem de alta resolução que era a de controle.

Nos testes o sistema de ampliação converteu imagens de 64X64 pixels em imagens detalhadas de 1024X1024.

Eu confesso que estou ainda um pouco incrédulo sobre a alegação, porque como que o computador pegou essa placa lisa de pixels de cor creme e sabe que ali tem cerca de 15 dentes e como eles devem se parecer?

Chega a ser assustador como um computador pode pegar algo de baixa resolução e ampliar no melhor estilo filme de Hollywood mal feito: “pegue o video e amplie, Scully”

Observe que na imagem acima, podemos ver que o SR3, meio que “chutou” como ele achava que seria aquela pequena prega de pele sobre a pálpebra.

Com o mundo avançando para uma escalada de alta resolução, soluções de pós que podem ampliar a qualidade das imagens no futuro serão super bem vidas. Um campo sensacional para quem gosta de muita (muita mesmo) Matemática.
Como diz a lei de Clark: “Tecnologia suficientemente avançada, não se difere de magia”

Para conhecer mais profundamente que tipo de bruxaria é essa, aqui esta o paper e aqui esta o link.