A négyszer nősült 84 esztendős Moore a Morgan's Life Stories című műsorban a magánéletéről mesélve emlékezett meg korábbi házasságairól.

Azt sem titkolta, hogy első két felesége bántalmazta. Mint mondta, első neje, Door van Steyn egy teáskannát vágott hozzá, amikor a kertben napozott és ez véget is vetett kapcsolatuknak. Második felesége, az énekesnő Dorothy Squires gitárral vágta fejbe egy veszekedés során. "Nagy természete volt" – idézte fel Moore az ITV csatornán.

Harmadjára, 1969-ben Luisa Mattioli olasz színésznőt vette el. Erről a házasságról nem beszélt a műsorban, azt viszont megosztotta, hogy negyedik nejével, Kristina Tholstruppal mennyire boldog és kiegyensúlyozott házasságban él.