Иван Губкин родился в селе Поздняково Муромского уезда Владимирской губернии в бедной крестьянской семье. По окончании сельской школы поступил в Муромское уездное училище. После училища была еще семинария в Киржаче, после которой надо было три года отработать уездным учителем.
Как-то раз Иван обнаружил в доме местного священника книгу по геологии, которую оставил родственник последнего, уезжавший в Сибирь. Губкин проглотил книгу за одну ночь и «заболел» геологией.
В 1903 году Губкин с третьей попытки поступил в Санкт-Петербургский горный институт на геологический факультет. Учеба затянулась на семь лет — в 1905-м институт закрылся из-за революции. Он был признан лучшим студентом курса, а его фамилию по традиции вуза занесли на почетную мраморную доску. Вскоре после выпуска из Горного Ивану Михайловичу стукнуло сорок.