La pietra aveva un aspetto molto particolare, e il giorno dopo Cheval tornò sul luogo e trovò molte altre pietre interessanti. Quando le vide, venne colpito da un'ispirazione. Da allora, ogni giorno si recava a raccogliere le pietre dopo i suoi turni di lavoro, le metteva in tasca e le portava a casa. Ben presto, per trasportarle iniziò ad usare un cesto e poi una carriola.
Per 33 anni, dal 1879 al 1912, continuò a raccogliere le pietre di giorno, mentre di notte costruiva il suo Palais Idéal, il "Palazzo Ideale", sotto la luce di una lampada ad olio. Non si fermò mai, nonostante le critiche e le derisioni dei suoi vicini.
I primi venti anni vennero dedicati alla costruzione dei muri esterni e delle sculture: le pietre venivano unite con calce, malta e cemento.
Alla fine, il Palais Idéal divenne un mix di diversi stili architetturali, prendendo ispirazione anche da elementi tipici di diverse religioni, tra cui il Cristianesimo e l'Induismo.
Le statue decorative raffigurano diversi animali, tra cui il polpo, il caimano, l'elefante, l'orso, gli uccelli, ma anche creature mitiche come giganti e fate.
Il suo lavoro è considerato un esempio notevole di architettura naïve (ovvero, creata da qualcuno senza una formazione formale). Il Palais Idéal ha ricevuto riconoscimento da personalità come André Breton, fondatore del surrealismo, Pablo Picasso, pittore spagnolo, e Max Ernst, artista tedesco.
