Тем не менее заслуги отца Василия по восстановлению пустыни были оценены по заслугам. 8 июля 1804 года Высочайшим указом Белобережская пустынь была включена в число пяти полагавшихся по штату Орловской епархии монастырей. «Считающемуся начальником пустыни иеромонаху Василию, который многие в ней ветхости исправил и завел там под руководством его Преосвященства порядок общежития, соделавшейся там кроткой жизни, благонравия и смиренномудрия, так и ревностно старался о содержании сей пустыни в лучшем ее благоустройстве, и его Преосвященству известным имеет быть, и именоваться строителем», гласил указ Орловской духовной консистории от 28 июля.
Но четыре года настоятельства явно дали понять отцу Василию совмещать руководящую должность и стремление к уединению крайне сложно. Он начал склоняться к мысли о том, чтобы покинуть обитель. Тайно чтобы не сеять смуту в умах братии. Открыл свой замысел только епископу Досифею. Опечаленный владыка начал его уговаривать:
Ты, отче, собрав своё стадо, привел их к Богу, и обитель тобой прославилась. Ты добрый пастырь, полагаешь душу свою за овец, а наемник распустит их и стадо твое разорит. Кого изберу на твое место, и кто так братию утешит и немощи их понесет, или кто стяжал такую любовь и смирение? Ты и ненавидящих любишь и ожесточенных врачуешь смирением. Чьи уста изольют такие сладкие струи и напоят множество жаждущих душ? О отче любезный мой, не убивай меня твоим прошением! Твое богоугодное житие и святое учение не только пользуют епархию мою, но и в отдаленных краях многие слышавшие приходят в обитель и получают пользу.
Отец Василий поклонился владыке и ответил:
Аз есмь, владыко святый, худой и неразумный человек, многая братия лучше меня.
И тут же предложил несколько кандидатур на выбор причем как раз из тех, кто был к нему прежде недоброжелателен. Епископ возразил:
Они для тебя святы, других же пользовать не могут!
Но старец стоял на своем, и владыке Досифею не оставалось ничего иного, как согласиться. Общим решением новым настоятелем был избран иеромонах Леонид (Наголкин), который был хорошо известен отцу Василию. Самому же старцу был назначен для пребывания Свенский монастырь. «Усмотрев в Бело-Бережской пустыни добрый порядок во всем и довольное устроение по хозяйственной части, всё это относим к благоразумному и опытному попечению бывшего настоятеля старца иеромонаха Василия, коему за такие подвиги объявляем нашу благодарность, вверяя ему вместе с сотрудником иеродиаконом Анастасием таковое же заведение, какое будет возможно и какое Бог поможет завести в Свенском монастыре. Для этого дозволяется им, сколько будет потребно иметь пребывание в том монастыре. Нынешнему же Бело-Бережскому строителю предписываем хранить во всем заведенный прежним строителем порядок в церковном служении, нимало не упущая и не прибавляя ничего», было сказано в приказе епископа Орловского и Севского Досифея, изданном 30 мая 1805 года.
Свенский Успенский монастырь размещался недалеко от Белых Берегов, непосредственно примыкая к границам города Брянска. И, видимо, прежняя обитель осталась в сердце отца Василия, потому что он нередко уходил в Белобережскую пустынь, вернее, в уединенную келийку, стоявшую на вершине покрытого сосновым лесом холма. Днем он неустанно трудился возделывал огород рядом с келийкой, рубил дрова, делал деревянные ложки, миски и ларцы, шил одежду и обувь, плотничал, а ночами ходил по лесу и со слезами молился. Если не было слез, отец Василий бил самого себя. А если какой-нибудь прохожий давал ему деньги или одежду, он немедленно отдавал это в монастырь. Сам же был крайне воздержан в пище ел сухой хлеб, размачивая его в воде, сырые грибы и коренья
Увы, без руководства Василия в Белобережской пустыни вновь начались неурядицы. После ухода с должности настоятеля отца Леонида (Наголкина) по рекомендации старца настоятелем был назначен его давний недоброжелатель отец Мелхиседек (Сокольников), который позволял себе по отношению к старцу самые дикие выходки дважды избивал его, плевал ему в лицо Отец Василий, по своему крайнему смирению, не только никому об этом не говорил, но просил у своего обидчика прощения, надеясь унять разгул его гордыни. Но Мелхиседек так и не исправился. Вскоре после того как по настоятельной просьбе возмущенной им братии его отрешили от начальничества в обители, в июле 1809-го, отец Василий решил было отправиться на Афон и даже попрощался с окрестным людом, но, прибыв в Одессу, узнал, что из-за войны с Турцией за границу никого не выпускают. Пришлось вернуться обратно в Свенский монастырь. Но ненадолго летом следующего, 1810 года отец Василий отправился на Дон. Причиной была просьба донского атамана Матвея Ивановича Платова о возрождении Свято-Вознесенского Кременского монастыря. Свой голос к просьбе присоединил и епископ Воронежский Антоний (Соколов), к чьей епархии принадлежали земли Войска Донского. Владыка Досифей отнесся к просьбе с пониманием и уволил отца Василия в отпуск по монастырской надобности на два месяца, потом этот срок не раз продлевался.
В путь отправились втроем отец Василий и его ученики, Анатолий и Андрей. По дороге по просьбе владыки Досифея посетили Троицкие женские монастыри в Севске и Курске. В обеих обителях старца приняли, мягко говоря, неласково. В Курске игумения даже начала поносить его последними словами, называя безбожником и бродягой. Но отец Василий, кланяясь до земли и целуя руки игумении, ответил так:
Благодарю вас, ведь истинно обо мне говорите, возлюбленные мои матери, род Божий! Кто меня так обличит и уврачует мои язвы, спасительницы и целительницы моей души, вы обо мне говорили только лишь истину, за это навсегда память о вас во мне пребудет!
Монахини же обоих монастырей, напротив, сразу увидели в отце Василии старца и буквально осаждали его, прося вразумления. О севском Троицком монастыре старец имел впоследствии особую заботу, а каждый его приезд в обитель превращался в праздник: сестры спешили получить благословение, стремились прикоснуться к одежде отца Василия, падали перед ним на колени. Тех, кто роптал на игумению, видевшую в старце бродягу, он учил смиряться и в буквальном смысле слова целовать следы монастырского начальства.
По пути на Дон отец Василий посещал своих духовных чад. Близ Курска его принял в своем имении действительный статский советник Александр Матвеевич Верёвкин, в прошлом курский и архангельский губернатор, он со своим семейством пал перед старцем на колени, целуя ему руки и ноги. В Ливнах жена градоначальника сама под уздцы довела лошадей путника к крыльцу своей усадьбы; отец Василий же, войдя в дом, назвал по именам всех детей семейства, хотя видел их впервые, и предрек монашескую судьбу дочери Екатерине. В Задонске отец Василий поклонился гробу своего учителя владыки Тихона, скончавшегося в 1783 году.
Свято-Вознесенский Кременской монастырь (ныне расположен на хуторе Саушкин в Волгоградской области) был упразднен в 1788 году, но десять лет спустя, при Павле I, восстановлен по просьбе казаков, хотя и был оставлен за штатом. Насельников было всего трое; управлял монастырем престарелый священник, отец Михаил Яковлев. Но отец Василий со спутниками энергично взялись за дело, и в короткий срок Кременская обитель возродилась к жизни. Попутно расширился и расцвел и недавно основанный Усть-Медведицкий женский монастырь. Множество местных жителей-молокан под влиянием проповедей старца приняли православие.
Так прошло три года. Но всеобщее почитание и суета вокруг него, как и прежде, очень утомляли отца Василия, и он подал прошение в Воронежскую духовную консисторию об удалении его с должности настоятеля. Для местных это решение стало настоящей трагедией. На проводы старца собралась огромная толпа казаков.
Куда ты, отец наш, удаляешься? спрашивали его со слезами. Ты нас породил и всю нашу местность от заблуждений просветил, грешников на покаяние наставил и ожесточенных своим незлобием умягчил. Твое, отче, отхождение повергает нас в глубокую скорбь. На кого же ты нас оставляешь?
Оставляю вас Господу Иисусу Христу и Пречистой Его Матери, был ответ старца. Она наша Заступница и Путеводительница, молитесь и просите Ее.
В ответ прихожане начали рыдать так горько, что не могли ни говорить сами, ни слушать наставлений отца Василия.
В Воронеже епископ Антоний, поблагодарив иеромонаха за понесенные труды, попросил его провести какое-то время в своей летней резиденции, Спасо-Преображенском Толшевском монастыре, в сорока верстах от Воронежа. Там отец Василий находился около года. Интересно, что сорока шестью годами ранее там же год провел и святитель Тихон Задонский; в монастыре хранились его прижизненный портрет и кресло, в котором он сиживал. Закончив пребывание в Толшевской обители, иеромонах сразу же отправился в Задонскую, где вновь поклонился мощам своего наставника.
Там же произошел случай, еще больше упрочивший репутацию отца Василия как прозорливого старца. Его пригласили к местнопочитаемой постнице Евфимии, которая славилась своим благочестием. Но отец Василий уклонился от встречи. А когда Евфимию привели к нему, она вдруг начала биться в судорогах, кричать и рухнула на землю. Увидев это, отец Василий наставительно произнес, обращаясь к местным монахам:
Чада мои, не всякому духу веруйте, по апостолу, а самочинников и ложных пророков, а наипаче жен, именующих себя святыми, но не свято живущих, избегайте. Многие и благочестиво жившие, от общения со мнимыми женами-постницами погибали. «Да звенит глас сей во ушию вашею, как говорил святитель Тихон, всех люби и всех бегай, и спасёшься!» Избирать же себе надо учителя не «чудотворца», а незлобивого и смиренномудрого, со Святым Писанием и жизнью Святых Отец согласующегося.