Na svoji lásku Josef nemůže zapomenout. Sžírá ho svědomí, že se provinil, když se nedokázal vzepřít autoritativní Amálii. Navíc ho na sklonku života sužuje psychická choroba.
Postavám na obrazech klidně namaluje vlčí drápy, jindy zase svými díly vytírá podlahu.
„Mánesové, toť případ rodinného uměleckého kolektivu, jaký byl v 19. století již jevem zcela výjimečným!“ uvádí český historik umění Antonín Matějček (1889–1950).
Rodina Antonína Mánesa (1784–1843) je sice chudá, ale za to se tu dědí umělecký talent. Oplývá jím i Josef Mánes (1820–1870). (1817–1883).
V rodině po otcově smrti rozhoduje energická Amálie (1817–1883), která si bere za svůj úkol dohlížet na mladší bratry Quida a Josefa. Snaží se rodinu živit tím, že poskytuje soukromé hodiny kreslení.
V roce 1947 u nich najde zaměstnání jako služka Františka (Fanny) Šťovíčková (1825–1909) z Kňovic u Sedlčan.
Dívka se zdráhá
Amálie se stará i to, aby měla přehled o tom, jaké mají bratři dámské známosti. Jenže na Josefa je krátká. Tomu neujdou Josefíniny půvaby. Nejdříve po dívce jenom pokukuje a sbírá odvahu. Po dvou letech dívčina pobytu u nich konečně přichází příležitost.
Amálie se roku 1849 chystá s matkou vyrazit v létě do hornorakouských lázní v Bad Ischlu. Tehdy je pryč i Quido, proto je v domě Josef sám se služebnou. Osloví ji, jestli by nechtěla na výlet. Fanny souhlasí.
Pochválí ji její půvabnou slovanskou tvář a přeptá se, nechtěla-li by mu stát modelem. Fanynka váhá. „Nemohu přece hned kývnout na takový návrh, to se na cudnou dívku nesluší,“ myslí si. Josef ale děvče přemlouvá, a to nakonec přece jenom souhlasí.
Nemanželská dcera
Mladému Josefovi se dívčiny křivky líbí. Pustí se do tvorby jejího aktu zvaného Jitro. Tělesná láska přehluší všechno. Užívají si spolu až do návratu sestry s matkou. Vášnivé milování ale po sobě zanechá následky. Fanynka otěhotní.
Když se s Josefem jednoho dne opět ocitne sama, sdělí mu novinku. Josef ji ujistí: „Vezmu si tě, postarám se o tebe i naše dítě.“ Malíř všechno oznámí matce. Ta se vyděsí, jakou ostudu mladí spískali. Jak všechno vyřešit? Amálie si ví rady hned.
Bratrovi vyčiní. Plachý Josef jí není schopný oponovat. Na Amáliin argument, že by se sňatkem veřejně naprosto shodil, neví, co říct. Sestra Fanynku vyhodí. Ta odchází do rodné vesnice, kde 11. března 1850 porodí dceru Josefinu. Za nemanželské dítě jí pohrdá celá vesnice.
Konečně trochu štěstí
Josef zatím trpí depresemi. „Měl jsem být statečnější a sestře se nepodvolit,“ myslí si. „Mé utrpení je tak obsáhlé, že bych je nemohl v žádné zprávě dosti jasně vysvětlit.“ píše nešťastně příteli Pinkasovi.
Když ho hrabě Bedřich Silva-Tarouca (1816–1881) pozve v říjnu 1849 na zámek v Čechách pod Kosířem na Hané, snaží se tam najít novou chuť do tvorby. Ani Fanny na tom není nejlépe. Ve vesnici se na ni dívají skrz prsty.
Rozhodne se proto po nějakém čase opět hledat svoje štěstí v Praze i s dcerkou Josefinou. Pokusí se ještě jednou přijít do Mánesovy rodiny. Amálie ji vyrazí.
Fanynku ale nakonec udělá štěstí, když si ji v roce 1860 vezme za ženu zřízenec na řetězovém mostě Vincenc Albert.
Zákeřná syfilis
Nelze ovšem vyloučit, že Fanny přichází do Mánesova ateliéru i s dcerou. V této době se totiž rodí jeho portrét, který se nakonec objeví na výstavě Umělecké besedy v roce 1872, tedy dva roky po Josefově smrti. Nese název Josefina N. N. herečka.
Svět o něm dozvěděl až po jeho smrti. Malíř ho ukrýval v ateliéru. Mánesovi v posledních letech mu ubere spoustu sil nemoc. Ačkoliv úmrtí matrika uvádí hovoří o „ochrnutí mozku,“ dnešní lékaři míní, že šlo spíše o progresivní paralýzu.
V jeho životě nefigurovala jenom krásná Šťovíčková, ale i další ženy, i když šlo spíš jenom krátkodobé eskapády a s žádnou ho nepojil tak silný vztah. Při některém z milostných dobrodružství se nejspíše nakazil syfilidou.