Говорят, что имя накладывает отпечаток на людей, которые его носят. Свое имя он получил в честь пламенного французского революционного деятеля Жана Жореса, известного своей непреклонностью в отстаивании исповедуемых им принципов и идей. То же самое можно сказать о Жоресе Ивановиче, который посвятил жизнь безусловно революционной области физики и был известен своей принципиальностью в защите интересов российской науки.
Он вырос в семье старого большевика, который наградил революционным именем и старшего брата Жореса, которого назвали Марксом. Маркс Алферов погиб во время Великой Отечественной войны.
Жорес Иванович писал о своем отце: «В детстве с замиранием сердца старший брат и я слушали его рассказы о Гражданской войне и его военной карьере. Мы узнали, как вчерашний унтер-офицер стал командиром кавалерийского полка Красной армии. Отец также рассказывал нам о своих встречах с революционными лидерами: В. И. Лениным, Л. Д. Троцким, Б. Е. Думенко. После окончания отцом Промакадемии в 1935 г. судьба бросала нас по всей стране: Сталинград, Новосибирск, Барнаул, Сясьстрой под Ленинградом, Туринск Свердловской области, где мы прожили военные годы, и наконец, лежащий в руинах после войны Минск. Папа был назначен директором завода, комбината, позже начальником треста». Наверное, именно история семьи предопределила верность Жореса Ивановича Коммунистической партии: членом фракции КПРФ в Государственной думе он был с 1995 года.