Fisherův sňatek s Elizabeth Taylor trval jen pět let, ale stihl dát dostatek materiálu bulvárním médiím. Zpěvák se pak oženil ještě třikrát.