Né et mort à Paris, fils du peintre et critique d'art Charles-Olivier Merson (1822-1902) il a étudié à l'École de dessin puis à l'École des Beaux-Arts de Paris. Il expose pour la première fois au Salon de peinture et de sculpture de Paris en 1866 et obtient le grand prix de Rome puis une médaille de première classe au Salon des artistes français en 1875, et une médaille d'or lors de l'Exposition universelle de Paris de 1889.

En 1892 il est élu à l'Académie des Beaux-Arts. Peu avant sa mort, il reçoit la médaille d'honneur du Salon des artistes français pour l'ensemble de son œuvre.

De 1905 à 1911, il est chef d'atelier à l'École des beaux-arts de Paris. Chevalier de la Légion d'honneur en 1881, puis officier en 1900, il est promu commandeur du même ordre à titre posthume en 1920.