La lumière est le seul phénomène physique connu qui combine une réalité matérielle (elle est composée de photons) et une nature ondulatoire. C’est de cette seconde caractéristique que découle le phénomène de la diffraction qui constitue une des limites majeures au pouvoir séparateur des objectifs.

Lorsqu’une ouverture est traversée par un rayon lumineux, celui-ci est automatiquement dévié par ses bords. C’est le cas, par exemple, avec le diaphragme d’un objectif. Le point qu’il est sensé former sur le capteur se transforme alors en un disque d’une taille par définition supérieure au point. Il est appelé disque de Airy. Son diamètre est variable en fonction de la longueur d’onde (ou couleur) considérée. Par convention, on adopte celle du vert-jaune (560 μm) à laquelle l’œil humain est le plus sensible. Il se calcule de la manière suivante :

D = 0,683 2 x n n : ouverture du diaphragme de l’objectif

D représente donc la taille sur le capteur du boîtier du plus petit détail rendu par un objectif à une ouverture de diaphragme donnée. Pour calculer la résolution maximale d’un objectif en fonction de la diffraction (en paires de lignes par millimètre), on applique la formule :

R = 1 000/D (ou R = 1 464/n)

Si on observe la formule qui permet de calculer D, on voit bien que plus n est élevé (diaphragme fermé), moins la définition d’un objectif est juste. Néanmoins, on ne peut tenir compte de cette seule règle car d’autres paramètres entrent en ligne de compte.

Le terme « vignetage » désigne un défaut optique qui consiste en une mauvaise répartition de la lumière sur l’image finale : son centre est correctement éclairé, alors que ses extrémités sont plus sombres. Ce phénomène, qui limite la qualité de l’image, est le résultat de la perte d’une partie des rayons marginaux entrants, pour lesquels le barillet de l’objectif lui-même constitue un obstacle.

Ce type d’aberration concerne essentiellement les focales courtes, et il est plus marqué en numérique en raison de la taille réduite et des caractéristiques physiques du capteur. La constitution en alvéole des photosites forme en effet un obstacle pour les rayons lumineux obliques, qui sont, de plus, moins bien captés en numérique qu’en argentique, car la surface sensible d’un capteur est plus réfléchissante que celle d’un film.

La seule solution pour réduire le vignetage consiste à utiliser des lentilles plus grandes. Il limite donc fortement la compacité des objectifs, et notamment des grands-angulaires. Il faut également souligner que plus le diaphragme est clos, moins ces rayons ont d’importance pour la formation de l’image. Pour limiter ce phénomène, le photographe doit donc choisir l’ouverture du diaphragme la plus petite possible lors de la prise de vue. Cela pose deux problèmes : ils captent ainsi moins de lumière et provoquent une baisse de la résolution optique à cause de la diffraction.

Pris entre la nécessité de limiter à la fois le vignetage et la diffraction, le photographe est donc contraint en permanence de trouver un compromis afin de disposer de la meilleure définition optique possible. Sauf cas dans certains cas particuliers, la plupart des professionnels utilisent leurs optiques diaphragmées entre f/5,6 et f/11. Ces valeurs sont celles pour lesquelles un objectif donne ses meilleurs résultats car le vignetage et la diffraction restent limités.