czterokrotnie żonaty 1. Nancy Richmond Mygatt (06.08.1947 - 02.12.1970, rozwód), 3 synów: James Jr. (ur. 24.10.1948), Steve, Dan; 2. Audra Lindley (1971 - 16.03.1979, rozwód); 3. Nancy Richmond Mygatt ( 24.03.1979 - 28.10.1982, rozwód); 4. Noreen Nash (od 07.08.2001 do jego śmierci)