I 1588 købte rentemester Christopher Valkendorf Hvidekloster, der var kloster og studiebolig for munke af Karmeliterordenen. Christopher indrettede bygningen til kollegium og fik det indviet den 26. februar 1589 med navnet Valkendorfs Kollegium. Kollegiet bliver dog også omtalt som Pisserendens Juvel, mens alumnerne ofte omtaler deres hjem som Vallekolle. Den bygning, som Christopher købte, var mere end 70 år gammel og krævede meget vedligeholdelse undervejs. Christopher blev i 1596 forfremmet til rigshofmester, en titel som han beholdt frem til sin død i 1601. I 1658 blev kollegiet ramt af en granat under Karl Gustavs bombardement af København og især husets bibliotek tog voldsomt skade.

Under den store brand i 1728 blev kollegiet meget medtaget og var ubeboeligt i flere år efter. I 1865 blev det besluttet, at hele bygningen skulle rives ned, og der i stedet skulle bygges en ny, længere inde på grunden. Dermed blev de sidste rester af Hvidekloster fjernet, men klostermuren omkring grunden blev bevaret og danner den dag i dag stadig rammen omkring kollegiets grund. I 1866 kunne alumnerne flytte ind i den nye kollegiebygning, som er den bygning der stadig står i dag. Der blev dog i 1920 tilføjet en ekstra etage. Kollegiebygningen og klostermuren er sidenhen blevet fredet og vedligeholdelse er derfor en vigtig del af kollegiet.