Карл Андреевич Шильдер родился 27 декабря 1785 года. Его отец Андрей Михайлович, выходец из Прибалтики, некоторое время занимался в Риге коммерческой деятельностью. Затем он купил большое имение в Невельском уезде Витебской губернии, где в усадьбе Симаново вскоре после переезда семьи появился на свет его второй сын — Карл.
Старший брат Карла Ефим Андреевич, сын Андрея Михайловича от первого брака, был инженером по строительной части. По-видимому, под его влиянием Карл проникся любовью к технике, которая в те времена привлекала к себе весьма ограниченный круг дворянской молодежи. Брат взял Карла к себе в Москву и определил его в благородный университетский пансион, где Карл впервые получил систематическое образование. Здесь обнаружились его разносторонние способности: наряду с успехами в изучении математических дисциплин и иностранных языков он проявляет наклонности к изобразительному искусству и музыке. Карл прекрасно рисовал и играл на нескольких музыкальных инструментах. В 1801 году, когда Карлу исполнилось шестнадцать лет, он был зачислен унтер-офицером в Московский гарнизонный батальон.
В 1803 году Карл по ходатайству старшего брата был зачислен в колонновожатые — так тогда назывались юнкера, готовившиеся стать офицерами и состоявшие при свите царя по квартирмейстерской части (то есть при генеральном штабе). Управляющим квартирмейстерской частью был граф Петр Корнилович Сухтелен. В числе наук, которые преподавались колонновожатым, видное место занимали геодезия и фортификация. Последняя в особенности привлекала Карла.