В детстве Кассиус любил есть, но ненавидел, когда его кормили с ложечки. Он сам хотел разделаться с едой; чем больший беспорядок ему удавалось устроить, тем лучше. Он обладал волчьим аппетитом и рос большим, сильным и невероятно игривым мальчиком. Он никогда не ходил, когда мог бегать, и, по словам Одессы, так спешил жить, что заболел ветрянкой и корью одновременно. Его первым и единственным словом в течение многих месяцев было «Джи» [(англ.) Gee «Ух ты»]. Он смотрел на свою мать и говорил: «Джи! Джи!» Он смотрел на своего отца и говорил: «Джи! Джи!» Он показывал пальчиком на еду и говорил: «Джи! Джи!» Когда он чувствовал, что пришла пора менять подгузник, он объявил об этом: «Джи! Джи!» Немудрено, что Одесса и Кэш стали называть своего маленького мальчика «Джи» или иногда «Джи-Джи». Одесса также назвала своего сына «вуди бэйби», но прозвище «Джи» закрепилось за ним не только в годы детства среди домашних, но и во всем Вест-Энде на протяжении всей его жизни.
Кассиус жаждал приключений. Он заползал в стиральную машину, забирался в раковину и гонял курицу по двору. В возрасте одного-двух лет он отвесил свой первый сильный удар, случайно стукнув маму по лицу и повредив зуб, который позже удалил дантист. К тому времени, когда ему исполнилось три года, Кассиус был уже слишком большим для своей детской кроватки. Водители автобусов настаивали на том, чтобы Одесса платила за проезд своего ребенка, предполагая, что мальчику было по меньшей мере пять-шесть лет, когда как в действительности ему было всего лишь три или четыре года, и он все еще имел право ездить бесплатно. Но тихая и миролюбивая Одесса всегда безропотно платила водителю.
Одесса с самого начала понимала, что оба ее сорванца были развиты не по годам, но именно Кассиуса меньше всего заботили правила и не пугали наказания. Мятежный дух и развязность он унаследовал от отца, а душевность и щедрость от матери. Когда у Руди возникали проблемы, Кассиус предупреждал своих родителей, что Руди его ребенок и что он никому не позволит его отшлепать, после чего он за руку волок брата в их комнату.
Терпение не было его сильной стороной. Когда Кассиус начал посещать начальную школу для черных «Вирджиния-стрит», Одесса каждый раз снаряжала ему с собой обед. Но мальчик, который совсем недавно позавтракал, умудрялся съедать обед еще по пути в школу. Другие дети на его месте беспокоились бы о том, что проголодаются раньше времени, но не Кассиус во время обеда он уговаривал друзей поделиться с ним едой. Чтобы пресечь это, Одесса прекратила снабжать Кассиуса обедами и вместо этого давала ему деньги на горячий обед в школьной столовой. Однако Кассиус был неисправим. На деньги матери он покупал ланч у своего друга Тудди и лакомился им по дороге в школу.
К тому времени, когда ему было семь или восемь, Кассиус был лидером группы мальчиков, которые всегда находились в поиске приключений. Одесса могла выглянуть через сетчатую дверь и увидеть своего старшего сына, который стоял на бетонном крыльце, словно политик на трибуне, оглашая своим юным последователям программу на день. Как только Руди Клей достаточно подрос, он стал тенью своего брата и главным его конкурентом. «Мы были как близнецы», вспоминает Руди. Ради забавы Кассиус придумал игру: он стоял в небольшом промежутке в два метра между своим и соседским домами и позволял Руди бросать в него камни. Руди старался изо всех сил, пока его старший брат подпрыгивал, нырял и метался. Мальчики играли в шарики, кости и прятки, и Кассиус почти никогда не давал своему младшему брату одержать верх. Когда они играли в ковбоев и индейцев, Кассиус всегда был ковбоем.
Мальчиков дразнили не только потому, что они были шумными и привлекали к себе внимание, но также из-за их необычайно больших голов. «У этих детей были просто огромные головы, скажу я вам, вспоминает их тетя Мэри Тернер. Бывало, сидят они на краю обочины, играют в шарики или в какую другую уличную игру, как внезапно к ним подкрадывалась парочка ребят и сталкивала их головы вместе, бац! Затем эти ребята давали деру, а Руди и Кассиус гнались за ними. Им казалось, что это было ужасно весело. Но после того как мальчики немного подросли, эти шутки прекратились. Кассиус и Руди могли справиться с большинством ребят в районе, потому что были очень быстрыми и большими. В конце концов их тела выросли настолько, что их головы перестали казаться такими уж большими».
Вскоре пришел черед Кассиуса и Руди издеваться и мучить младших ребят. Они отжимали велосипеды у маленьких детей и катались на них целыми часами. «Они не были злодеями, сказала их тетя. Но им казалось, что лучше их не сыскать на всем белом свете. Кассиус думал, что ни у кого нет такого хорошего брата, как Руди, а Руди был того же мнения о Кассиусе».
Друзьям, которые росли вместе с Клеями в Вест-Энде, Кассиус запомнился как быстрый бегун и хороший, но не особо одаренный атлет. Плавать он совсем не умел. Он мог согласиться сыграть в софтбол или регби, но особой страсти к этим видам спорта не испытывал.
«Этот Джи везде совал свой нос и все время втягивал меня в неприятности, вспоминает его одноклассник Оуэн Ситгрейвс. Мы любили прятаться в переулке за цветочном магазином Кинслоу и выкатывать на пути машин старые покрышки. После того как покрышка застревала под машиной, мы прятались в другой части переулка, дворами оббегали пару домов и возвращались, чтобы насладиться зрелищем. Из машины вышла женщина и сказала: Мальчики, я заплачу вам два доллара, если вы достанете эту покрышку из-под машины. С помощью домкрата из ее багажника мы вытащили старое колесо из-под ее колымаги». Как-то раз Оуэн и Кассиус нашли старую футболку на улице, заполнили ее грязью, а затем зашвырнули в открытое окно проезжающего автобуса. «Там был парень в белоснежном костюме, должно быть, он собирался на свидание. Он выскочил и преследовал нас до перекрестка 34-й и Вирджинии вплоть до Коттер-Хоумс, но мы были быстрее Я так сожалею об этом, его костюм был безупречно чистым».
Кассиус всегда любил устраивать веселые и жестокие розыгрыши. Он срубил отцовское сливовое дерево. Однажды он настолько хорошо изобразил звук сирены, что водители съехали на обочину и вытянули шею в поисках полицейской машины. Он сорвал помидоры с семейного огорода и пулял ими через забор учительского дома, забрызгивая гостей на вечеринке учителя на заднем дворе. Он привязал шнурок к шторам в спальне своих родителей, провел его через холл в свою комнату и, дождавшись, когда родители улягутся спать, начал шуршать занавеской. Он укрывался простынями и выскакивал из темных углов дома, чтобы напугать свою мать. Никакие выговоры или наказания не могли вразумить его.
«Каждый день я устраивала им тихий час, вспоминала Одесса, и однажды он сказал Руди: Знаешь что, Руди? Мы слишком большие, чтобы спать днем. И тогда тихому часу настал конец».
Когда выходки мальчиков заходили слишком далеко, Одесса отправляла их в ванную, где Кэш по очереди закидывал Кассиуса и Руди на свое колено и устраивал мальчикам порку. Эти наказания не производили на Кассиуса никакого эффекта. «Кассиус-младший всегда шел первым, получал взбучку, уходил и уже задумывал что-то новое! смеется Одесса, рассказывая эту историю журналисту Джеку Олсену, который взял у нее интервью для серии сюжетов в Sports Illustrated в 1966 году. Он был очень необычным ребенком».
Описывая свое радостное детство, друзья Кассиуса иногда не упоминали о бесчисленных случаях расовой дискриминации и предрассудков, которые пронизывали саму ткань их жизни. Отчасти это может быть связано с тем, что друзья и соседи Кассиуса Клея воспринимали дискриминацию как нечто должное настолько глубоко она укоренилась в их повседневном быту. Возможно, другая причина крылась в том, что чернокожие люди в Луисвилле в конце 1940-х и начале 1950-х годов считали, что им живется лучше, чем другим афроамериканцам. Им повезло жить в городе, где в ходу был «более вежливый расизм», как выразился историк из Луисвилла Том Оуэн.
Несмотря на то что большинство кентуккийцев симпатизировали Конфедерации, штат Кентукки не отделился от поддерживавшего рабство Союза во время Гражданской войны. В промежутке между 1865-м и 1930-м в Луисвилле не было зафиксировано случаев линчевания или конфликтов на расовой почве. Начиная с 1870-х, в отличие от многих других городов на юге страны, темнокожим жителям Луисвилла было дано право участвовать в выборах, и с тех пор они никогда его не лишались. Белые общественные лидеры Луисвилла выражали регулярную и, на первый взгляд, искреннюю озабоченность условиями жизни своих чернокожих соседей и щедро выделяли свои собственные средства на поддержку афроамериканского населения. Разумеется, взамен эти белые лидеры, подобно своим предкам-рабовладельцам, ожидали, что черные покорно, без шума и борьбы примут свой статус людей второго сорта.