Лавируя между различными течениями, он представлялся современникам беспринципным оппортунистом, хотя, может быть, на самом деле, и не был таковым. Но его взгляды на все капитальные, насущные вопросы русской жизни расплывались в столь неопределенной фразеологии, что такое мнение казалось основательным. Его деятельность полна внутренних противоречий. В его официальном органе, газете «Северная Почта» (1865 г.), земская реформа была названа «школой представительных учреждений» — но вслед за тем некоторые из земств, усвоившие такую точку зрения, подверглись за это административным взысканиям. В своей записке «Дума Русского» В. явился горячим партизаном либеральных принципов. «Русский ум так восприимчив, русское сердце так благородно; уму нужен простор» — гласила эта записка; но в качестве министра внутренних дел В. стал на совершенно противоположную точку зрения, усиленно стараясь подчинить печать своей опеке и основать в России официозную прессу по французскому образцу, чем возбудил общее неудовольствие, в котором сходились люди самых противоположных мнений и лагерей, напр. Аксаков и академик А. В. Никитенко, которого В. пригласил редактировать официальную «Северную Почту», но с которым скоро разошелся. Преследования В. касались даже таких публицистов, как Аксаков и Катков. Газета Аксакова, «Москва», была приостановлена, «Москвич» запрещен; «Московские Ведомости», вступившие в открытую борьбу с В., не могли быть запрещены потому, что составляли собственность университета, а редакторы их не были лишены права продолжать издание только потому, что имели влиятельных покровителей. В вопросах польском и балтийском В., вопреки своему обыкновенно, занял более определенное положение, выступив против партии обрусителей в качестве решительного противника виленского генерал-губернатора Муравьева. Различие политических взглядов между ними еще более обострялось личной неприязнью: Муравьев не прощал В. перемену отношений, происшедшую вслед за оставлением последним министерства государственных имуществ. Симпатиями В. в конце своего управления ни с чьей стороны не пользовался. Одни называли его космополитом, желавшим более всего пользоваться европейской похвалой и известностью; другие — остзейским феодалом, бароном или маркизом в Poccии, третьи — представителем реакции в бархатных перчатках, беспринципным бюрократом. Увольнение его от управления министерством (9 марта 1868), мотивированное болезнью, но на самом деле вызванное непринятием надлежащих мер по предотвращению бедствий голода, ни в ком не возбудило сожалений. История не забудет, однако, что во время управления В. состоялась земская реформа (1 января 1864 г. ) и в первый раз появилась в России бесцензурная печать (закон 6 апреля 1865 г. ). Правда, и в той; и в другой области началась при В. эпоха стеснений и ограничений; но это только уменьшает, а не уничтожает значение преобразований, связанных с его именем. Самою слабою стороною деятельности В. следует признать отношение его к крестьянскому делу, во многом изменившем к худшему то направление, которое было ему дано мировыми посредниками первого призыва.
Покинув министерский пост и оставаясь статс-секретарем и членом госуд. совета, Валуев занял место председателя правления учетно-ссудного банка и общества взаимного поземельного кредита. Уменье авторитетно говорить и держать себя в заседаниях госуд. совета и разных высших комиссий скоро опять выдвинуло его в правительственных сферах, где его опытность давала ему возможность иметь вес и значение. 17 февраля 1872 года: Валуев был назначен министром государственных имуществ. Шестилетнее управление его этим министерством также обнаружило, что он не обладал качествами хорошего администратора.
Он поднял ряд вопросов, которые хотя и не получили практического направления и разрешения, но представлялись настолько важными, что возбуждение их содействовало подъёму его влияния (комиссии о положении сельского хозяйства, по вопросу о найме рабочих и т.д.). Такая же деятельность проявлялась Валуевым и по делам, касавшимся непосредственно его министерства, в котором, тем не менее, не замедлили возникнуть крупные злоупотребления (раздача и расхищение казенных земель). Он лично не участвовал в них и был виновен лишь в том, что не предупредил их. Пока В. управлял министерством гос. имуществ, эти злоупотребления не были раскрыты, и его служебное положение было очень прочно. В 1877 г. В. был назначен председателем комитета министров и вслед за тем комиссии прошений, причем его преемником по министерству госуд. имуществ был сделан, по его же указанию, его товарищ, князь Ливень, во время управления которого расхищение казенных земель еще более усилилось и было наконец обнаружено. В последний год прошлого царствования; именно 19 февраля 1880 г., Валуев был пожалован графским достоинством, с нисходящим потомством. В качестве председателя комитета министров Валуев пользовался значительным влиянием и сохранял его до возвышения гр. Лорис-Меликова, с которым В. находился в открытом антагонизме. Между тем ревизия сенатора М. Е. Ковалевского обнаружила большие злоупотребления относительно раздачи башкирских земель, последствием чего было увольнение В., 4 октября 1881 г., от занимаемых им должностей, с оставлением членом госуд. совета и в звании статс-секретаря.
Оставшись не у дел, Валуев отказался от света и занялся литературною деятельностью, которой не был чужд и раньше. Сколько известно, Валуев дебютировал в печати, поместив в 1856 г. в журнале «Отеч. Записки» (за июль месяц) перевод статьи Эженя Форкада «О французском национальном банке». Вслед за тем появились его статьи, за подписью Aliquis, на французском языке, в официозном органе русского правительства, брюссельской газете «Nord»: «Lettres sur l'affranchissement des paysans dans les provinces Baltiques» (см. «Nord» 1858 г.,. №№2 — 12. Эти письма переведены были в «Русск. Вестнике» за этот же год, №1 и 2). В 1876 г. (в бытность минист. гос. имуществ) Валуев издал заграницей, в Берлине, у известного книгопродавца Бэра, брошюру: «Русские заграничные публицисты». Эта брошюра посвящена полемике с Самариным, Дмитриевым, князем Васильчиковым и Кошелевым, издавшими около этого времени свои публицистические произведения за границей. Брошюра не подписана автором, назвавшимся «Русским». Она составлена, как это видно из пометки на ней, в Висбадене, в октябре 1875 г. В заключение ее Валуев говорит: «Конечно не все у нас ладно, — но где же все ладно? Притом, чем больше у нас недостатков, тем более желательно, чтобы их устранение не затруднялось, кроме других неизбежных затруднений, раздражительной агитацией, направленной к недостижимым целям. Наша заграничная печать не может принести никакой пользы на избранном ею пути. Россия не может ждать себе добра от выходцев: ни от выходцев дела, ни от выходцев мысли и слова». Полемизируя с Самариным, Валуев признает его замечательный литературный талант, признает его магистральную силу и компетентность в вопросах богословия и философии, но сильно порицает его приемы и сарказмы в полемике по общественным вопросам, сравнивая его, в этом отношении, с известным Луи Вельо. Первый роман В., «Лорин», в двух частях, появился в 1882 г. (перев. на нем. яз.), второй, «Черный Бор», напечатан в «Вестнике Европы» за 1887 год (книжки 7 и 8), третий, «Княгиня Татьяна» — в "Русск. Вестн. " за 1891 г. (№ 4 — 10). Литературное достоинство его романов не велико. Они написаны высоким слогом, высокопарны по изложению и содержанию и притом, отличаясь салонной изысканностью выражений, грешат против духа и оборотов русского языка.