Джесси Джеймс родился 5 сентября 1847 года в графстве Клэй, штат Миссури. Отца своего, Роберта Джеймса, он не помнил. Когда мальчику было два года, в Калифорнии нашли золото, и Роберт отправился в дальний путь, надеясь разбогатеть и перевезти туда семью. Но его, как и многих других золотоискателей, убила пневмония. Так его жена Зерельда Миммс осталась одна с двумя маленькими сыновьями - Александром Франклином и Джесси. Она была беременной, когда муж уезжал, и через несколько месяцев родила дочку, которую назвала Сюзанной.
Одной было тяжело тянуть столько ртов, и вскоре она снова вышла замуж, но брак не сложился. Третий брак, заключенный ею в 1855 году, оказался удачным. Врач Рубен Сэмуелс был человеком богатым и владел огромным поместьем. От этого союза появились на свет еще две дочери и сын Арчи, родившийся умственно отсталым. Рубен оказался достойным мужем и хорошим отцом. Поместье его процветало, по хозяйству семье помогали чернокожие рабы…
Но вскоре спокойная семейная жизнь была нарушена. В апреле 1861 года началась Гражданская война, и восемнадцатилетний Фрэнк ушел сражаться за принципы Юга. Четырнадцатилетний Джесси тогда еще был слишком мал, чтобы присоединиться к нему. Скорее всего он провел бы всю войну в поместье, если бы однажды к ним не заявились янки. Их целью было сжечь дома тех, чьи родственники воевали на стороне конфедератов. Джесси, попытавшегося оказать сопротивление, избили до полусмерти. После выздоровления юноша оседлал коня и отправился на поиски старшего брата. Ненависть к янки кипела в нем, он жаждал мщения.