Изменилась конструкция буксирных крюков, двухстворчатые крышки люков доступа к агрегатам трансмиссии заменили на одностворчатые (на танках поздних выпусков так же поступили с люками доступа к двигателю), воздушные фильтры двигателя перенесли с моторной перегородки на карбюраторы. Было внесено много других более мелких усовершенствований.
Самым же важным нововведением стала установка новой пушки. Первые 1549 танков Ausf.J еще были вооружены 50-мм пушкой KwK 38 с длиной ствола в 42 калибра. С января 1942 года в танки начали устанавливать 50-мм пушку KwK 39 с длиной ствола в 60 калибров, обладавшей большей бронепробиваемостью. Новые орудия получили 1067 танков Ausf.J.
Замена пушки стала насущной необходимостью после первых же сражений на Восточном фронте. Здесь выяснилось, что Pz.III, предназначавшийся по замыслу именно для борьбы с танками противника, мог пробить броню советского тяжелого танка КВ только с дистанции 200 м. При этом советские танки легко поражали «тройки» с дистанции 500 м. Новая пушка позволила хотя бы частично уравнять шансы и увеличить дальность эффективного огневого боя с советскими танками до 500 м.