Située au centre de la place des Cocotiers, la Fontaine Céleste est une fontaine monumentale de 8m de haut sculptée par un artiste local, Paul Mahoux, à partir de pierres provenant d'une carrière voisine. Sa représentation d'une femme à moitié nue - jugée scandaleuse à l'époque de son inauguration en septembre 1894 à l'occasion du 40e anniversaire de la prise de possession de la Nouvelle-Calédonie par la France - est devenue emblématique de la ville. Le modèle, Céleste Benyamina, a donné son nom à la fontaine.