Энциклопедическая образованность, ум, такт и терпимость писателя способствовали тому, что в 1830-1860-е годы дом Вельтмана был одним из известных в Москве литературных центров, где собирались люди самых разных профессий, политических, философских и эстетических направлений и взглядов, от убежденных славянофилов до радикальных «западников» (М.П. Погодин, В.И. Даль, В.Г. Белинский, Ф.И. Буслаев, А.И. Герцен, Ф.Н. Глинка, Н.В. Гоголь, Г.П Данилевский, Ф.А. Кони, М.С. Щепкин, В.Ф. Одоевский, А.Н. Островский и др.). С 1850 активное участие в литературной жизни Вельтмана принимала известная в свое время беллетристка (исторические и семейно-бытовые повести и романы) и просветительница (Азбука и чтение для первого возраста, 1862) Елена Ивановна Вельтман (ум. 1868), вторая жена писателя.
Умер Вельтман в Москве 11 (23) января 1870.