По приїзді у Флоренцію, він самостійно вивчає нові художні проблеми. У художньому розвитку Рафаеля флорентійський період значив надзвичайно багато. Оьраз Мадонни з немовлям, найбільш “рафаелевской” сфера творчості художника, у Флоренції переживає глибокі зрушення. Мадонни Рафаеля дорослішають, стають змістовнішими, наповнюються абсолютно новими силами по-людськи складною духовного життя, яка була зовсім невідома його раннім, перуджинским мадоннам.
Рафаель хоче внести в образи матері і немовляти повноту життя, домогтися максимальній розкріпаченості – і створює серію мадонн, де тема вирішується як жанрова сцена. Дитина набуває небачену раніше жвавість, грайливість, часом навіть риси пустощів – і в очах, і в усмішці, і в поводженні: він наполегливо тягне ручку за корсаж матері, так що їй рухом і поглядом доводиться його перестерігати, то впаде в якусь меланхолійну примхливість. Рафаель починає з найпростішої полуфигурной композиції у так званій “Мадонни дель Грандука” . Традиції умбрийского кватроченто ще дуже сильно позначаються в ліричної м’якості настрою.
В образі Мадонни підкреслена лагідність – в її опущених очах, в деякій нерішучості жесту, яким вона тримає немовля. Цього перуджиновскому настрою цілком відповідає композиційна структура картини – прості паралельні вертикалі фігур Мадонни і дитини, одноманітність яких лише трохи порушене легким нахилом голови Мадонни. Лише в одному відношенні Рафаель віддає данину тодішнім флорентійським вимогам – темний фон, з якого м’яко мислиться група Мадонни з немовлям. Очевидно, що Рафаель тут мріяв про ефект леонардівського напівтемряви, прагнучи досягти тієї похмурої димки, яка так вразила його в картинах Леонардо.
Взагалі ж таємничість леонардівського напівтемряви не відповідає природі Рафаеля, і в більшості наступних мадонн він переходить до пейзажним тлом, до денного світла ясним до пластичних операцій. З іншого боку, для Флоренції не годилася лірична пасивність “Мадонни дель Грандука”. Там вимагали більше свободи, більше руху. Перша згадка про картині належить до 23 листопада 1799 року: тодішній директор галереї Уффіці Томмазо Пуччіні пише про неї великого герцога Фердинанда III Лотарингскому. Через наполеонівських хвилювань Фердинанд у той час перебував у Відні і там отримав лист, в якому Пуччіні розповідає, що бачив “в одного флорентійського негоціанта добре збережену” роботу “другий манери Рафаеля Урбіно” і просить дозволу на її купівлю.
Оскільки в результаті грабежів французів палац Пітті позбувся найцінніших картин Санніо, Фердинанд III без вагань пішов на витрати. Початкове місцезнаходження картини невідомо, швидше за все вона призначалася приватному замовнику. Її датують приблизно 1506 роком з-за легкого нальоту впливу Леонардо. Проста і гармонійна по композиції, картина часто порівнюється з більш складною “Мадонною в кріслі”, що відноситься до римського періоду. Фердинанд III, побачивши картину, був настільки зачарований, що забажав взяти її з собою у вигнання в Вюрцбург. Повернувшись у Флоренцію, він звелів повісити її в своїй спальні, а не в публічній галереї палацу Пітті. Так вона стала “Мадонною великого герцога”. Нещодавнє радиографическое дослідження виявило наявність іншої фону під шаром чорної фарби; знаходиться в галереї Уффіці у Флоренції малюнок свідчить, що Рафаель спочатку планував “Мадонну” на тлі пейзажу.