Současná budova má pozdně gotické jádro, ačkoli jako taková vznikla až v 16. století. Má roubené patro a zděné přízemí. Od roku 1561, kdy budovu koupilo Nové Město pro vybírání cla, v ní pracovali výběrčí, kontrolor a dva úředníci. V roce 1833, kdy celnice zanikla, zde byl otevřen hostinec.
Na začátku 20. století vznikla myšlenka vybudovat zde muzeum věnující se životu tzv. Podskaláků, lidí nazývaných podle osady Podskalí, ve které žili, a kteří se živili plavením dřeva. Myšlenku se nakonec podařilo zrealizovat a dnes je tu pobočka Muzea hl. m. Prahy se dvěma stálými expozicemi - Zmizelé Podskalí a Z dějin pražské paroplavby. Sídlí zde i spolek Vltavan, který starobylé tradice Podskalí zachovává.
Zajímavost:
Samotný název "Výtoň" je odvozen od staročeského slova "vytínat". Tak se říkalo způsobu vybírání cla ve 14. století, kdy se "vytnula" jedna dvanáctina z klád svázaných do voru z připlaveného dřeva.
Možná Vás zaujme, že budova Výtoně stojí pod úrovní okolního terénu. Tato prohlubeň dokládá původní úroveň terénu, která byla navýšena uměle při stavbě pražských nábřeží.
