Es una técnica para suavizar los dientes de sierra, (esos escalones) que se ven en las líneas oblicuas en un monitor.
Consiste en intercalar píxeles de colores transicionales entre los de la línea y el fondo.
Miren este ejemplo

La a de la derecha se ve mucho más definida gracias a esta técnica, paradójicamente en la versión aumentada parece más borrosa.
En los juegos en 3D, (3 dimensiones), esta opción tiene grados (2x, , 4x, 6x) mientras mayor sea el valor elegido menos serruchos veremos, y más recursos consume por lo que puede caer el rendimiento del juego.
También se conoce este efecto como FSAA, del ingles Full Screen AntiAliasing, o Antidentado a Pantalla Completa.
Fuentes: hardwaresecrets.com, y overclockers.cl.
Hay una descripción más detallada en isocalc.com