La vida de l’Ismael (Mathieu Amalric) està marcada per la desaparició, vint anys enrere, de la seva muller Carlotta (Marion Cotillard). Malgrat aquest buit, ell ha tirat endavant: fa pel·lícules amb certa regularitat i ha trobat un nou amor en l’astrofísica Sylvia (Charlotte Gainsbourg). Fins que un dia la Carlotta reapareix.
Segurament, Los fantasmas de Ismael en tindria prou amb l’estranya cordialitat i els furiosos retrets que s’instal·len en aquest triangle per esdevenir una pel·lícula consistent. Però Arnaud Desplechin no està conforme amb això, i decideix trencar l’escenari. Els protagonistes se separen, l'Ismael es refugia a la seva Roubaix natal per estudiar les diferents concepcions de la perspectiva en els quadres de Fra Angelico i Van Eyck, i fins i tot el relat d’espies que està imaginant troba la manera d’ocupar el primer terme de la ficció.
Voluntàriament entregada a la digressió, la pel·lícula fa seves les paraules d’un dels personatges, que afirma que el normal és que tots tinguem “dues o tres” vides (de fet, la versió del film que ha arribat a les nostres sales és diferent i més llarga que la que es va presentar a Canes l’any passat). Però, sobretot, Desplechin sent la necessitat d’arrabassar a l'Ismael la centralitat del drama: el seu ego “ocupa massa espai”. Per això, la Sylvia i la Carlotta s'han d’escapar d’ell per esdevenir personatges vius i parlar a l’espectador mirant-lo directament als ulls.