Джеймс Спэйдер родился 7 февраля 1960 года в Бостоне в семье учителей. У него есть две старшие сестры, воспитанию которых родители-педагоги уделяли много внимания. Позже в беседах с журналистами он часто шутил, что вырос при матриархате.
Мечты о карьере актера появились у Джеймса еще в юности, поэтому после школы он переехал в Нью-Йорк и поступил в театральную школу. Чтобы хватало на жизнь, в те годы Джеймс брался за любую работу. Он побывал и барменом, и грузчиком, и даже педагогом по йоге. Именно благодаря увлечению йогой на одном из занятий он встретил свою будущую жену.
Первый успех в кинематографе пришел к Джеймсу в 1981 году. Он исполнил роль брата героини Брук Шилдс в картине Дзеффирелли «Бесконечная любовь», где вместе с ним дебютировал Том Круз. Через четыре года Спэйдера пригласили на главную роль в ленте «Стенка на стенку», где ему довелось поработать с Робертом Дауни-младшим. Однако роль в драме Кирша не принесла Спэйдеру ожидаемого успеха. Зато образ вуайериста в драме «Секс, ложь и видео» Содерберга запомнился зрителям. За него Джеймс был удостоен приза в номинации «Лучшая мужская роль» в Каннах.
В 1987 году актер женился на декораторе Виктории Кил, с которой прожил 17 лет. В браке у пары появились двое сыновей. В 2000 году у Джеймса начался роман с Лесли Стефансон, а через восемь лет она родила ему сына, которого пара воспитывает вместе.