Tahiti, 1903. Victor Segalen, médecin, poète et artiste, quitte la France pour rencontrer Gauguin exilé à Hiva-Oa, mais arrive sur l'île quelques semaines après la mort du peintre. D'abord fasciné par Gauguin, Segalen va le connaître intimement à travers les témoignages d'autres, des femmes et amis, et c'est à partir de cette expérience sensorielle et personnelle qu'il développe une relation post-mortem étrange et ambiguë avec le peintre.

Loin de la route est une libre adaptation du roman graphique éponyme de Christophe Gaultier et Maximilien Le Roy croisée de la lecture des lettres de Victor Segalen (Correspondance 1839-1912) et de ses écrits, parfois inachevés : Hommage à Gauguin, Les Maîtres-du-Jouir et Gauguin dans son dernier décor.