XQuartz est la suite de l'application X11.app d'Apple, obsolète, qui faisait autrefois partie de l'OS X :
X11 n'est plus inclus dans OS X, mais les bibliothèques serveur et client X11 pour OS X sont disponibles auprès du projet XQuartz : http://xquartz.macosforge.org . Vous devez utiliser la dernière version disponible de XQuartz.
Source : À propos de X11 pour Mac - Support Apple
X11 est un très vieux système de fenêtrage pour Unix qui n'est pas nécessaire pour presque tout ce que vous ferez sur votre Mac. La seule utilisation répandue de X11 pour laquelle je l'utilise est Wine qui vous permet d'exécuter des logiciels Windows sur votre Mac.
XQuartz est très similaire à X11, mais est un "effort de la communauté pour développer davantage" X11 :
Apple a créé le projet XQuartz dans le cadre d'un effort communautaire visant à poursuivre le développement et la prise en charge de X11 sur OS X. Le projet XQuartz était initialement basé sur la version de X11 incluse dans Mac OS X v10.5. Il y a eu de multiples versions de XQuartz avec des corrections, la prise en charge de nouvelles fonctionnalités d'OS X et des améliorations supplémentaires de l'expérience X11. Apple contribue au projet XQuartz et s'est efforcé de faire en sorte que X11 fonctionne comme prévu sous OS X avec les dernières versions disponibles de XQuartz.
XQuartz ne "gâche" pas l'écran Retina. Il ne remplace aucunement la gestion des fenêtres d'OS X. $DISPLAY est uniquement utilisé avec et pour XQuartz pour autant que je sache.