Толстой – син окольничого Андрія Васильовича Толстого. Служив з 1682 р. при дворі стольником; 15 травня цього року, в день стрілецького бунту, енергійно діяв заодно з Милославскими і піднімав стрільців, кричачи, що “Наришкіни задушили царевича Івана”.
Падіння царівни Софії змусило Толстого різко змінити фронт і перейти на бік царя Петра, але останній довго ставився до Товстого дуже стримано; недовірливість царя не похитнули і військові заслуги Толстого у 2-му Азовському поході. У 1697 р. цар посилав “волонтерів” у закордонне вчення, і Толстой, будучи вже у зрілих роках, сам зголосився їхати туди, для вивчення морської справи. Два роки, проведених в Італії, зблизили Толстого з західноєвропейською культурою. Наприкінці 1701 р. Толстой був призначений посланником в Константинополь, на посаду важливий, але важкий, до того ж отдалявший Толстого від двору. Повернувшись у Росію у 1714 р., Толстой розташував до себе всесильного Меншикова і був призначений сенатором. У 1715 – 1719 роках Толстой виконував різні дипломатичні доручення у справах датською, англійською та прусським.
В 1717 р. Толстой надав цареві важливу послугу, назавжди упрочившую його положення: посланий в Неаполь, де в той час переховувався царевич Олексій зі своєю коханкою Евфросиньей, Толстой, за сприяння останньої, спритно обійшов царевича і шляхом застращиванья і помилкових обіцянок схилив його до повернення в Росію. За діяльну участь у слідстві і суді над царевичем Толстой був нагороджений маєтками і поставлений на чолі таємної канцелярії, у якої в цей час було особливо багато роботи внаслідок суперечок і хвилювань, викликаних у народі долею царевича Олексія.
З цих пір Толстой стає одним з найближчих і довірених осіб государя. Зберігся щоденник закордонної подорожі Толстого в 1697 – 1699 роках, характерний зразок тих вражень, які виносили російські люди Петровського часу свого знайомства в Західною Європою. Крім того, Толстой склав у 1706 р. докладний опис Чорного моря.