O processador de sinal de imagem (ISP, na sigla em inglês) combina hardware e software para transformar em imagem os dados vindos do sensor da câmera digital. O ISP calcula a cor e brilho de cada pixel, aumenta a nitidez, e busca gerar a maior qualidade de imagem em celulares, câmeras mirrorless e DSLR, drones e mais aparelhos.

Circuitos ao redor de um sensor de câmera em formato de olho
O que faz um ISP na câmera? (Imagem: Vitor Pádua / Tecnoblog)

O ISP pode ser um chip separado, ficar integrado ao sensor de imagem ou vir incorporado no SoC de um celular, como fazem a Qualcomm e a Apple. Celulares com mais de uma câmera geralmente têm mais de um ISP. Os processadores de imagem podem atuar juntos para ajustar a profundidade de campo, capturar cores mais ricas e fazer zoom óptico.

Índice

  • Como funciona o processador de sinal de imagem?
  • Quais são as atribuições do processador ISP?
    • Gerenciamento de cores
    • Redução de ruído
    • Aumento de nitidez
    • Foco automático
    • Correção de lentes
  • Quais são as principais fabricantes de processadores ISPs?

Como funciona o processador de sinal de imagem?

O processador de sinal de imagem obtém a cor de cada pixel, e compara esses valores com as informações dos pixels vizinhos. Então, um algoritmo calcula a cor correta de cada pixel através da interpolação cromática (demosaicing).

O ISP também analisa a foto como um todo para determinar o brilho e contraste corretos, conforme explica Urs Tillmanns, especialista austríaco em fotografia.

Componentes da câmera, incluindo processador do sinal de imagem (ISP)
Processador do sinal de imagem na câmera (imagem: Vitor Pádua / Tecnoblog)

Após a entrada da luz pela objetiva da câmera, sensores de imagem usam um filtro de cores para que cada pixel receba somente uma tonalidade. No caso de sensores CMOS, o filtro Bayer é o mais comum, deixando passar somente as cores RGB (vermelho, verde e azul).

O sensor converte as luzes de cada cor em sinais elétricos, que são enviados ao processador ISP. A câmera também pode trazer um DSP (processador de sinal digital) para auxiliar durante a captura de fotos e vídeos, reduzindo o ruído da imagem e melhorando a profundidade de cor.

Quais são as atribuições do processador ISP?

O ISP reconstrói a cor, brilho e contraste de uma cena usando os dados fornecidos pelo sensor de imagem. Ele também faz a redução de ruído, correção de lente, foco, entre outros.

A autonomia do ISP varia de acordo com a fabricante da câmera ou do smartphone. Por exemplo, a Apple prioriza ajustes de forma automática, enquanto celulares Android oferecem mais liberdade ao usuário com o modo Pro.

Gerenciamento de cores

O processador de sinal de imagem detecta a iluminação ambiente para definir como as cores serão reproduzidas na foto. Há quatro componentes principais:

  • Balanço de branco automático (AWB): ajusta a tonalidade das cores com base no branco definido como padrão;
  • Exposição automática (AE): ajusta o brilho e contraste controlando a abertura, velocidade do obturador e ISO;
  • Gamma correction: ajusta a intensidade da luz nas partes mais claras e escuras da imagem;
  • Mapeamento de tons (tone mapping): gera imagens HDR ao expandir a faixa dinâmica da foto.
Demonstração do HDR em uma fotografia com diferença de iluminação (Imagem: Vitor Pádua/Paulo Higa/Tecnoblog)
Demonstração do HDR em uma fotografia com diferença de iluminação (Imagem: Vitor Pádua/Paulo Higa/Tecnoblog)

Redução de ruído

O processador de imagem remove o ruído vindo do sensor. O ISP ajusta os pixels cuja cor e brilho sejam muito diferentes dos outros pixels ao redor. O ruído cromático está relacionado à cor; o ruído luminoso envolve o brilho.

A quantidade de ruído geralmente é maior com valores ISO mais altos, tempos de exposição mais longos, e temperaturas ambientes mais altas. O trabalho do ISP pode ser difícil em áreas com detalhes muito finos: se eles forem tratados como ruído pelo processador, a imagem perde em definição e textura.

Aumento de nitidez

O ISP usa algoritmos para suavizar as bordas e os contornos dos objetos, deixando a imagem mais nítida e detalhada. O processador faz a interpolação para calcular os valores de cor e brilho de cada pixel, e suaviza a imagem para compensar quaisquer desvios de cor em pixels individuais.

Algumas câmeras também fazem pixel binning, tratando pixels adjacentes como um só, para maior nitidez. O ISP pode afetar a qualidade da foto, dependendo de sua capacidade em reconhecer as bordas dos objetos, e em remover artefatos indesejados.

Foco automático

O ISP realiza o foco automático (AF) da imagem, seja por contraste ou por detecção de fase. No AF por contraste, ele calcula o foco ao obter o maior contraste de cores por meio de tentativa e erro. No AF por detecção de fase, ele mede a distância do objeto usando dados do sensor de profundidade, e ajusta o foco com precisão.

O ISP também pode incluir a função de EIS (estabilização óptica de imagem), que usa o giroscópio para reduzir vibrações em vídeos.

Correção de lentes

O processador ISP corrige problemas que podem surgir devido a uma lente pequena ou sensor de imagem compacto, tais como:

  • aberração cromática: distorção de cores que gera um contorno nas bordas de objetos;
  • distorção geométrica: diferença em relação à geometria do objeto real, causada pela curvatura da lente, distância focal ou ângulo da foto;
  • vinhetagem: escurecimento das bordas da foto;
  • shading: redução gradual do brilho, indo do centro até as bordas.

Essas distorções podem ser corrigidas com a ajuda de inteligência artificial e aprendizado de máquina, como mencionam estudos publicados pela IEEE e pela Springer.

Quais são as principais fabricantes de processadores ISPs?

Estas são as principais fabricantes de ISPs, de acordo com a consultoria Precision Reports:

  • Qualcomm
  • Samsung
  • Arm
  • Fujitsu
  • STMicroelectronics
  • OmniVision Technologies
  • Renesas Electronics
  • THine Electronics
  • NXP Semiconductors

Estes são os principais ISPs de câmeras mirrorless e DSLR:

  • Canon Digic
  • Nikon Expeed
  • Olympus TruePic
  • Panasonic Venus Engine
  • Pentax Prime
  • Sigma True
  • Sony Bionz

Os processadores de imagem são usados em celulares (setor no qual os ISPs vêm ganhando mais destaque com a evolução da fotografia computacional), na indústria automotiva, em câmeras de segurança. O mercado de ISPs deve movimentar US$ 4,3 bilhões em 2024, de acordo com a consultoria Yole Intelligence.

O que faz um processador de sinal de imagem (ISP)?