A legnagyobb válságot a nyolcvanas évek közepén vészelték át, amikor elhatározták, hogy együtt írják meg visszaemlékezéseiket. Napirenden voltak a csípős megjegyzések és a legkisebb apróságokon is összezördültek. Már-már lemondtak a közös könyvről, amikor egy szerkesztő tető alá hozta a tűzszünetet: mindketten megírják a maguk verzióját az egyes eseményekről, és monogramjukkal jegyzik azt.

Rosalynn szerint az 1987-ben megjelent Everything to Gain: Making the Most of the Rest of Your Life című kötetben nem volt túl sok ellentmondás, ám Carter úgy fogalmazott: előfordult, hogy különböztek az emlékeik. "Bámultam, hogy milyen silány volt Rosa memóriája" - jegyezte meg az elnök. Persze nyilván akadtak feszült pillanatok az amerikai elnökség történetének második leghosszabb házasságban. (A leghosszabb ideje George H. W. Bush és felesége Barbara él együtt.) Carterék több mint nyolcvan éve, kisgyermekkoruk óta ismerik egymást: az egy utcányira lakó Rosalynn akkoriban Carter húgának a legjobb barátnője volt. Randizni akkor kezdtek, mikor már a tengerészeti akadémiára járó Carter 1945-ben egyszer hazalátogatott, és moziba hívta Rosalynnt. "Másnap reggel azt mondtam anyámnak: ő az, akit el akarok venni" - idézte fel az elnök. 

Rosalynn először kikosarazta, arra hivatkozva, hogy még túl fiatal, de pár hónappal később igent mondott. Manapság Carter elismeri, hogy felesége a legfontosabb tanácsadója, és egyenrangú partnere. Egy lépést sem tesz nélküle, ha a világot járja a béke ügyéért vagy a betegségek ellen harcolva, és mindig meggyőződik arról hogy a média kellőképpen tájékozott-e felesége új tervei felől. Pedig nem volt ez mindig így. Amikor leszerelt a tengerészettől, és hazatért szülővárosába, a georgiai Plainsbe, hogy átvegye betegeskedő apja mogyoróüzletét, hirtelen döntött. De azt is csak az utolsó pillanatban jelentette be feleségének, hogy jelölteti magát georgiai szenátornak.    

Utólag már nem érti, miért viselkedett így. "Az első években csak akkor tájékoztattam Rosalynnt a fontos döntéseimről, amikor már meghoztam azokat" - vallotta be. "Háziasszonynak tekintett" - szúrta közbe Rosalynn. Mint Carter elmondta: ez ma már nem fordulhat elő, semmiről sem határoz Rosalynn megkérdezése nélkül, és általában azt teszi, amit neje tanácsol. Amióta teljesen eljegyezte magát a politikával, azóta a maradéktalan egyenlőségen nyugszik a kapcsolatuk. "Megtanultunk együttműködni dolgokban, miközben elegendő szabadságot hagytunk egymásnak" - fűzte hozzá.

Carter elnök felidézte, hogy a Fehér Házban meghallgatta ugyan tanácsadóit, de előfordult, hogy nem hallgatott rájuk. Akkor sem, ha népszerűtlen döntéseket kellett hoznia, mint a Panama-csatorna visszaadását. Felesége is ellenezte a lépést, azt szerette volna, ha a második elnöki ciklusra halasztja. Ám Carter azzal érvelt: mi van, ha nem lesz másodszor is elnök? "És kinek lett igaza?" - tréfálkozott az Egyesült Államok 39. elnöke.

A Carter házaspár szerint hosszú közös életük titka, hogy mindig lojálisak egymáshoz. Mindent megbeszélnek, és sohasem fekszenek le úgy, hogy nem békültek ki. Együtt tornásznak, és közös hobbikon osztoznak, mint a műlegyes horgászat, a síelés és a kerékpározás, tehát sok időt töltenek együtt. Azt azonban elhatározták, hogy többé nem írnak közösen könyvet.