Отримана спадщини графа Яноша Палффі, з його Пожоньского палацу, в 1912 році. До 1892 року перебувала в лондонському зборах лорда Дадлі-Уорда, до 1896 року – у паризького антиквара Зедельмайєра. Голова святого Йосипа нагадує твори Кости. Композиційний принцип дуже простий, благословляючий жест немовляти часто повторюється в картинах Франчи, присвячених мадонні.
У минулому столітті будапештское “Святе сімейство” разом з іншою “Мадонною” перебували у власності лорда Дадлі-Уорда. У 1854 році Вааген описав картини, згадавши, що на одному з них є напис і дата – 1495 рік. У старій спеціальній літературі цей опис було неправильно зрозуміле: так як ці картини переплутали, то вважали, що дата стоїть на будапештській картині “Святе сімейство”, в результаті чого будапештська картина була віднесена до більш раннім творам Франчи.
Насправді ж дата перебувала на іншій картині лорда Дадлі-Уорда, яка теж збереглася, – це так звана “Мадонна Гамбаро”. В даний час вона зберігається в Нью-Хейвені в Галереї Йейлского університету. Будапештська картина має варіант, зроблений в 1517 році. Основний настрій пізніх творів Франчи визначається мирної споглядальністю, тихій мрійливістю його образів. Блакитне небо з хмарами у творчості Франчи передає тихий, задумливий настрій умбрійських майстрів.