Władysław Czartoryski postanowił stworzyć w Krakowie muzeum i przenieść do niego rodzinne zbiory. Placówka ta powstała w 1876 roku. Obrazy Leonarda da Vinci, Rafaela Santi i Rembrandta sprowadzono do Krakowa w listopadzie 1882 roku. Przez ponad 30 lat dzieła te były wystawione na widok publiczny, a „Dama” Leonardo wisiała obok „Młodzieńca” Rafaela.
W czasie II wojny światowej kolekcja ta wpadła w ręce Niemców. Po ich ucieczce z Krakowa, w wyniku ofensywy sowieckiej, portret młodego mężczyzny Rafaela zaginął i obecnie jest najbardziej poszukiwanym obrazem, pochodzącym z polskiej kolekcji.
Ślady Rafaela
Latem 1944 roku, po zajęciu Lwowa przez Armię Czerwoną urzędujący na zamku na Wawelu niemiecki gubernator III Rzeszy Hans Frank podjął przygotowania do ewakuacji zgromadzonych przez siebie dział sztuki. Zostały one przewiezione na Dolny Śląsk. Rząd Franka miał rezydować w posiadłości Manfreda von Richthofena w Seichau (dzisiaj Sichów).
Dr Robert J. Kudelski – autor monografii na temat arcydzieła Rafaela twierdzi, że prawdopodobnie w sierpniu 1944 roku, wraz z innymi obrazami do Sichowa trafił „Portret młodzieńca” , a także „Dama z gronostajem” da Vinci, obrazy Rembrandta.17 stycznia 1945 roku Hans Frank opuścił Kraków i pojechał na Dolny Śląsk. W liście do żony pisanym z pałacu Richthofena stwierdził: „Wszystkie rzeczy uratowane”.
Obserwując ciągły marsz na zachód wojsk sowieckich, Niemcy zdecydowali o przeniesieniu zbiorów do pałacu państwa von Wietersheim-Kramst w Muhrau (dzisiaj Morawa). Hans Frank skierował się stamtąd do Neuhaus w Bawarii, gdzie miało powstać jego tymczasowe biuro. Polecił jednak adiutantowi Helmutowi Pfaffenrothowi wywieźć z Morawy trzy skrzynie wybranych dzieł sztuki. 25 stycznia 1945 roku zabrał on do Bawarii ponad 20 obrazów, w tym „Damę z gronostajem” i „Krajobraz z miłosiernym”. Nie było wśród nich portretu Rafaela – powodem podobno miał być zbyt duże wymiary obrazu (59 x 75 cm).
Opiekę nad pozostałymi zbiorami w Morawie przejęli przedstawicieli lokalnej administracji – burmistrz Robert Schnitzler i szef Narodowosocjalistycznej Opieki Społecznej Wilhelma Dressler. I wtedy ślad po Rafaelu zaginął.
Pozostałe obrazy z tzw. wielkiej trójki czyli Leonardo i Rembrandta wojska amerykańskie odnalazły w bawarskiej posiadłości Hansa Franka. Po wojnie tropy dotyczące tego obrazu wiodły do Szwajcarii, Niemiec, Australii, a także na Bliski Wschód.