Преподобный Иосиф достиг уже преклонных лет, когда был призван к участию в делах церковных. В Новгороде возникло лжеучение, известное под названием «ересь жидовствующих». Лжеучители утверждали, что закон Моисеев есть единый Божественный закон, что Христос еще должен родиться; и потому отвергали таинства, почитание святых и воскресение из мертвых. Собор, бывший в Москве, осудил эту ересь, но она тем не менее продолжала распространяться, и скоро открылось, что сам митрополит Московский Зосима тайно покровительствует ей. Одно обстоятельство придало ей новую силу. В 1491 году кончалось исчисление пасхальное на седьмую тысячу лет от сотворения мира. В народе распространился слух, будто в 1492 году последует кончина мира и Страшный суд, и все с ужасом ожидали этого года. Когда же он прошел, лжеучители стали еще с большей дерзостью поносить православную веру и распространять свое учение. Они открыто говорили, что не будет суда, воскресения мертвых и жизни загробной. Епископ Новгородский Геннадий написал окружную грамоту, в которой объяснил, что значит окончание пасхального исчисления, и опровергал ложные толки; но они все более и более укоренялись. Тогда решились опять созвать собор в Москве для определения нового пасхального исчисления и опровержения ереси жидовствующих; вместе с тем великий князь Иоанн III и архиепископ Геннадий обратились к преподобному Иосифу, прося его содействия. Иосиф, глубоко изучивший богословие, издал книгу под названием «Просветитель», в которой он излагал историю ереси и опровергал ее самыми ясными доказательствами. В посланиях к великому князю и к епископам он увещевал их стоять твердо за истину и убеждал великого князя удалить митрополита Зосиму. Зосима принужден был удалиться; Иосиф принимал участие в соборах 1504 и 1508 года и с силой обличал лжеучителей.