Iako Džud ima pozamašnu filmsku karijeru, nije baš miljenik javnosti. Njegov život se može opisati kao sve - samo ne miran.
Glumac je u 48. godini dobio šesto deta, prvo zajedničko sa 14 godina mlađom suprugom Filipom Koan.
U periodu od 1997. do 2003. godine bio je u braku s dizajnerkom Sadi Frost. Njih dvoje imaju troje dece, kćerku i dva sina.
Nakon razvoda zaručio se s glumicom Sijenom Miler i to je ujedno bila i veza u kojoj se dogodio nezapmćeni skandal koji je mesicima tresao Holivud. Sijenini obožavatelji stali su na njenu stranu, nakon što je potvrđeno da Džad prevario sa dadiljom. Zaručili su se na Božić 2004., a već naredne godine se saznalo za prevaru. Sijena mu je dva puta oprostila, ali nije mogla da nastavi romansu.
Afera sa konobaricom
Tokom snimanja filma Šerlok Holms,desila se i afera sa konobaricom Samantom Bruk. Ništa tu ne bi bilo posebno neobično, da prolazna avantura nije rezultirala rađanjem njegovog četvrtog deteta, kćerke Sofije. Iako nije nastavljao vezu s njenom majkom, priznao je dete i uključen je u njeno odrastanje.
Peto dete, devojčicu Adu, rođenu 2015. dobio je iz kratke veze sa kantautorkom Ketrin Harding.
Poslednje dete je dobio sa zakonitom suprugom. Filipa, koja je od njega mlađa od njega je po profesiji doktorka.
