К третьему году жизни в Лянцзяхэ Си освоил работу на ферме и свободно говорил на местном диалекте. Он пахал поля, возил навоз и собирал пшеницу. Позже он утверждал, что мог нести двести цзиней пшеницы на протяжении десяти ли, или около двухсот двадцати фунтов, на расстояние чуть более трех миль, не разжимая плеч. В деревне он помогал приносить воду, готовить еду и рыть новые пещеры. В своей пещере он шил одеяла, чинил одежду и читал книги по ночам, куря сигареты при свете маленькой масляной лампы.
Официальные источники описывали Си как заядлого читателя, который поглощал такие книги, как «Коммунистический манифест», «Государство и революция» Ленина и работы Мао по революционной стратегии. Он читал книги, пася овец, и заучивал новые слова из словаря в перерывах между обработкой полей. Спустя десятилетия Си часто упоминал о своей тяге к книгам, говоря, что однажды он прошел тридцать ли, или чуть больше девяти миль только для того, чтобы взять экземпляр «Фауста» Гете.
Призрак преследования маячил даже в Лянцзяхэ. Си, который иногда сплетничал о партийных интригах с другими зарвавшимися молодыми людьми, чуть не попал в беду после того, как один из местных кадров обнаружил, что в написанном им письме содержатся упоминания о жене Мао, Цзян Цин. Кадровик угрожал донести на Си, но общий знакомый успокоил его, предложив в подарок две военные куртки. Си приписал часть полученной им доброжелательности репутации своего отца в Шэньси.
Си вновь увидел отца только в 1972 году, после того как его мать попросила премьер-министра Чжоу Эньлая организовать воссоединение семьи. Патриарх не мог ни узнать своих сыновей, ни отличить двух дочерей. «Он заплакал, увидев нас, а я быстро предложил ему сигарету и прикурил одну для себя», вспоминает младший Си. Он спросил меня: «Почему ты тоже куришь?». Я ответил: «У меня депрессия». Мы тоже пережили трудные времена за эти годы». Он помолчал немного и сказал: «Я разрешаю тебе курить».
И отец, и сын сохраняли веру в партию, обвиняя в своих преследованиях начальника службы безопасности Кан Шэна и его жену Цао Иу. Хотя некоторые его сверстники презирали партию, младший Си решил вступить в нее. Сначала он пытался вступить в Коммунистическую лигу молодежи, хотя чиновники неоднократно отклоняли его заявления из-за порочащей репутации его отца. Его упорство покорило местных кадров, в том числе одного, который сжег досье с «черными материалами», присланными из Пекина для дискредитации Си. Молодежная лига приняла его в 1972 году с восьмой попытки. Затем ему потребовалось десять попыток, чтобы стать членом партии в январе 1974 года, после чего жители Лянцзяхэ избрали его, еще двадцатилетнего, своим партийным секретарем.
Объятия Си с партией озадачили некоторых его друзей. И Сяосянь, сын бывшего революционера, преследуемого красногвардейцами, позже сказал американскому дипломату, что в то время он чувствовал себя преданным Си. Но И понял, что Си решил «выжить, став краснее красного», согласно утечке информации из американской дипломатической телеграммы, которая обобщила его высказывания. По словам самого Си, он нашел вдохновение в вере в то, что он и его отец были честными и порядочными. «Это было просто чувство, что чем больше хороших людей будет в партии и молодежной лиге, тем меньше будет плохих людей», сказал он.
Си был энергичным деревенским секретарем. Он руководил работами по строительству плотин, прокладке дорог и сооружению резервуара для метана, чтобы обеспечить жителей газом для приготовления пищи и освещения. Но он также строил планы отъезда, наблюдая, как другие деревенские молодые люди возвращаются в города, чтобы заполнить вакансии на заводах, в школах и в армии. В 1973 году Си подал документы в уважаемый пекинский университет Цинхуа, но ему отказали из-за того, что он был «ребенком черной банды». В то время вступительные экзамены в колледжи были приостановлены, и университеты принимали студентов через политический отбор. Администраторы отбирали абитуриентов по их классовому происхождению и политической благонадежности, а выбранные студенты были известны как «рабоче-крестьянско-солдатские», что стало уничижительным эпитетом, намекающим на отсутствие интеллектуальной добросовестности.