Брюс, который в качестве главы Приказа артиллерии опекал и «утешал» Денбея, начал грезить Японией. Брауншвейгский резидент в России Ф.-Х. Вебер в своих «Записках» рассказывает, что Брюс мечтал найти путь из России в Японию и послал экспедицию, которая отчалила от дальневосточного побережья для поисков этой неведомой земли, но в бурю погибла. Ещё Вебер сообщал: «У сего Брюса был кабинет китайских редкостей, и он очень сожалел, что невозможно никак приобрести точных сведений о положении и особенностях Китайского государства, потому что наряжаемые туда посольства и все русские купцы не имеют права оставаться там долее 3 или самое большее 4 месяцев».
В.В.Атласов, предприимчивый устюжский мужик, посланный в 1697 г. обследовать камчатские земли, вернувшись в Москву, привёз с собой маленького желтокожего человека. Атласов забрал его у камчадалов, которые поведали любопытную историю. Года два назад к их берегу прибило большую лодку с незнакомыми людьми. Непривычные к суровому быту и скудной еде камчадалов, чужеземцы быстро умирали. Остался лишь один. В отчёте, составленном в 1701 г., Атласов отмечал: «А нравом тот полоненик гораздо вежлив и разумен». Когда пленник увидел русских землепроходцев, в которых чувствовалась принадлежность к цивилизованному миру, то «зело плакал» от радости. Чужеземец успешно осваивал русский язык. В Москве удалось наконец выяснить, что это японец. Он был первым японцем, которого увидела Россия. И даже официальные чины не вполне представляли, где находится его загадочная страна и что за люди там живут. Атласов в отчёте именовал его «индейцем». В бумагах же Приказа артиллерии его назвали и того хитрее: «Апонского государства татарин именем Денбей». А энергичный Пётр уже строил далеко идущие планы. Передав Денбея под опеку Приказа артиллерии, царь повелел: «А как он, Денбей, русскому языку и грамоте изучится, и ему, Денбею, учить своему японскому языку и грамоте робят человек 4 или 5». Насчёт вероисповедания Пётр распорядился Денбея не притеснять: «А о крещении в православную христианскую веру дать ему, иноземцу, на волю и его, иноземца, утешать и говорить ему: как он русскому языку и грамоте навыкнет и русских робят своему языку и грамоте научит и его отпустят в Японскую землю». Но скорее всего Денбею так и не удалось вернуться к родным берегам. Известно, что он со временем крестился под именем Гавриила, а школа переводчиков с японского действовала в Москве до 1739 года.
Брюс, который в качестве главы Приказа артиллерии опекал и «утешал» Денбея, начал грезить Японией. Брауншвейгский резидент в России Ф.-Х. Вебер в своих «Записках» рассказывает, что Брюс мечтал найти путь из России в Японию и послал экспедицию, которая отчалила от дальневосточного побережья для поисков этой неведомой земли, но в бурю погибла. Ещё Вебер сообщал: «У сего Брюса был кабинет китайских редкостей, и он очень сожалел, что невозможно никак приобрести точных сведений о положении и особенностях Китайского государства, потому что наряжаемые туда посольства и все русские купцы не имеют права оставаться там долее 3 или самое большее 4 месяцев».
Пётр, ценивший разносторонние научные познания Брюса, в 1706 г. передал в его ведение Московскую гражданскую типографию. Отсюда вышел первый календарь, получивший в народе название «Брюсова календаря». Однако мало кто знает, что на самом деле составителем календаря был В.А. Киприанов, а Брюс только курировал его работу. Киприанов это тоже незаурядная личность. Житель московской ремесленной слободы Кадаши, торговец, поставлявший в Оружейную палату свечной товар, Киприанов в то же время увлекался математикой, изучил навигацию, владел иностранными языками, освоил искусство гравирования, интересовался астрологией. Он составлял карты и учебные пособия, написал сочинение «Планетик», посвятив его царю Петру и царевичу Алексею.
Как считают исследователи, «Планетик» и подал Петру идею выпустить общедоступный календарь. Источниками для календаря стали древнерусские отречённые книги громовники, колядники и другие и западноевропейская астрология. По гадательным таблицам календаря можно было получить предсказание на любой день любого года, что обеспечило календарю большую популярность не только в XVIII столетии, но и в XIX-м. Россия в Петровскую пору беспрестанно воевала, и Брюс, руководивший артиллерией, прошёл все военные кампании. Во время Полтавской битвы его орудия мощным огнём весьма способствовали победе русской армии, за что Яков Вилимович получил орден Андрея Первозванного. Английский посол Ч.Витворт в 1709 г. сообщал, что Брюса высоко ценят при русском дворе: «Он очень хорош и с царём, и с князем Меншиковым». Дружбы Брюса искал фельдмаршал Б.П. Шереметев, писавший: «Паки прошу: не оставь меня в любви своей и не чини меня забвенна...»
Пётр давал Брюсу и весьма деликатные поручения: поиск в Европе умов и талантов, которые могли бы послужить процветанию России. В 1711 г. царь отправил его в Берлин «для найму мастеровых людей знатных художеств, которые у нас потребны». Вполне доверяя широким познаниям и деловой экономности Брюса, царь в сопроводительной грамоте писал: «И что он, генерал наш, им в контрактах обещает и заключит, то от нас всё сдержано будет без умаления». В 1712 г. Пётр в письмах к Брюсу то просит навести справки об одном из немецких архитекторов и при благоприятном результате заключить с ним контракт, то поручает найти мастера редкой перспективной живописи, то переманить в русскую службу искусного садовника, устраивавшего королевские парки.
Занимался Яков Вилимович и покупкой инструментов для научных и мореходных целей. Приобретал художественные произведения и редкости для царского собрания. Во время таких поездок он познакомился с немецким учёным Г.Лейбницем и потом вёл с ним переписку. Учредив Сенат, Пётр назначил в него и Брюса, сделав его в 1717 г. президентом Берг- и Мануфактур-коллегий. Теперь в ведении Брюса было развитие горнодобывающей промышленности и заводского дела в России. Однако в это же время он продолжал совершенствовать русскую артиллерию, пообещав царю, что сможет добиться большей скорострельности орудий. Обрадованный Пётр отвечал: «Ежели сие сыщете, то великое дело будет, за которую вашу прилежность зело благодарствую». В том же 1717 г. Брюсу пришлось стать дипломатом, на которого Пётр возложил ответственную миссию. Вместе с А.И. Остерманом он отправился на Аландский конгресс для выработки условий заключения мира со Швецией. Смерть шведского короля Карла XII прервала переговоры. Но в 1721 году они возобновились.
Тонкая изворотливость Остермана и непоколебимая твёрдость Брюса удачно дополняли друг друга, а энергичная напористость, с которой русские посланники отстаивали интересы России, приводила в замешательство иностранных резидентов. Брюс и Остерман с честью выполнили возложенное на них поручение. По условиям Ништадтского мира к России отошли Лифляндия, Эстляндия, Ингерманландия, часть Карелии и Моонзундские острова.
Пётр, получив известие о таком окончании переговоров, был так доволен, что даже сбивчивый тон ответного письма передавал его волнение: «Нечаемая так скорая ведомость нас и всех зело обрадовала, понеже трактат так вашими трудами сделан хотя б написав нам и только бы для подписи послать шведам более бы того учинить нечего, за что вам зело благодарствуем; и что славное в свете сие дело ваше никогда забвению предатися не может, а особливо николи наша Россия такого полезного мира не получала». Брюс был возведён в графское достоинство и получил в награду 500 крестьянских дворов. В.Н. Татищев утверждал, что Пётр, желая придать Брюсу более значительности на переговорах, намеревался сделать его действительным тайным советником. Это второй после канцлера чин в «Табели о рангах». Но честный и щепетильный Брюс отказался и «сам его величеству представлял, что хотя он подданной, но иноверец, оный чин ему неприличен и может впредь его величеству подать причину к сожалению».
Камер-юнкер Ф.-В. Берхгольц, прибывший в Россию в свите герцога Голштинского, отмечал в своём дневнике, что русский царь оказывал Брюсу особенное расположение. Так, на свадьбе дочери И.А. Мусина-Пушкина в 1721 г. Пётр «сидел недалеко от входных дверей, но так, что мог видеть танцевавших, около него сидели все вельможи, но его величество большею частью разговаривал с генерал-фельдцейхмейстером Брюсом, сидевшим подле него с левой стороны». Брюс был не только верным исполнителем державных замыслов Петра, но и принимал участие в его семейных делах. Пётр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широко образованного человека повлияют на непутёвого наследника. При дворе царевича состояла и супруга Брюса Мария Андреевна (Маргарита Мантейфель). Характерно, что под смертным приговором Алексею Брюс свою подпись не поставил.
Весной 1723 г. Пётр праздновал очередную годовщину бракосочетания с Екатериной. Яков Вилимович, распоряжаясь торжествами, устроил в Петербурге грандиозную процессию кораблей, поставленных на полозья и запряжённых лошадьми. Кампредон рассказывал: «Царь ехал на 30-пушечном фрегате, вполне оснащённом и с распущенными парусами. Впереди в шлюпке в виде бригантина с трубами и литаврами на носовой части оного ехал распорядитель праздника, главный начальник артиллерии граф Брюс». В 1724 г. во время коронации Екатерины Брюс нёс перед ней императорскую корону, а супруга Брюса была в числе пяти статс-дам, поддерживавших шлейф Екатерины. А в следующем году Брюсу пришлось в последний раз служить своему державному другу он был главным распорядителем на похоронах Петра I. Екатерина I, утвердившись на русском престоле, не забыла заслуг Брюса, наградив его орденом Александра Невского. Но, увидев, как «птенцы гнезда Петрова», прежде дружно служившие русскому государству, начали жестокую вражду, деля почести и сферы влияния при дворе Екатерины, Брюс в 1726 г. предпочёл благоразумно удалиться в отставку в чине генерал-фельдмаршала. В 1727 г. он купил у А.Г. Долгорукого подмосковное имение Глинки, разбил регулярный парк, выстроил дом с обсерваторией и безвыездно уединился в имении, занимаясь любимыми науками. Он увлёкся медициной и оказывал помощь окрестным жителям, составляя лекарства из трав.
Брюс скончался в 1735 году, немного не дожив до 66 лет. Детей у него не было. Испанский посол де Лириа писал о нём: «Одарённый большими способностями, он хорошо знал своё дело и Русскую землю, а неукоризненным ни в чём поведением он заслужил общую к себе любовь и уважение».