Στη δυτική πλευρά της πόλης υπάρχει το τετραώροφο Αρχοντικό του Τομπάζη, που ανήκει ήδη από το 1936 στη Σχολή Καλών Τεχνών και λειτουργεί ως παράτημα της.

Ο ζωγράφος Περικλής Βυζάντιος (1893 - 1971), το 1936 μαζί με τον τότε Διευθυντή της Σχολής Καλών Τεχνών δημιούργησε το παράρτημα της Σχολής Καλών Τεχνών στην Ύδρα, που στεγάστηκε στο αρχοντικό του Νάυαρχου Τομπάζη.

Έκει φιλοξενήθηκαν προσωπικότητες της Τέχνης και των Γραμμάτων, όπως ο Chagall και ο συγγραφέας Daninos.