Κτήριο διώροφο λιθόκτιστο. Χαρακτηρίζεται από συμμετρία στις όψεις, ισορροπία στη διάπλαση του όγκου, καθαρότητα των αρχιτεκτονικών μορφών και σαφήνεια των επί μέρους νεοκλασικών μορφολογικών στοιχείων. Χαρακτηριστική είναι η στοά περιστυλίου που διαμορφώνεται στο ισόγειο και σχηματίζει στον όροφο εξώστη. Το κτίριο ορθώνεται στη μέση ενός κήπου με βοτσαλωτούς διαδρόμους, τρεις δεξαμενές, ορνιθώνα, περιστερώνα και φούρνο.

Η μελέτη έγινε από τον αρχιτέκτονα Π. Ζίζηλα με σαφείς οδηγίες: «να κτιστεί ένα αρχοντικό όμοιο με αρχαίο αιγυπτιακό ανάκτορο ή ναό». Το 1903 άρχισαν οι εργασίες και μέσα σε ένα χρόνο κατασκευάστηκε το λαμπρότερο οικοδόμημα των Σπετσών. Αποτέλεσε την κατοικία του Σωτηρίου Ανάργυρου μέχρι το θάνατό του (18/12/1918). Το 1929 το Πρωτοδικείο Ναυπλίας κατακύρωσε την ιδιοκτησία του αρχοντικού στην Αναργύρειο και Κοργιαλένειο Σχολή Σπετσών.

Χαρακτηρίζεται ως έργο και τέχνης και ως ιστορικό διατηρητέο μνημείο (Υ.Α. ΥΠΠΟ/ΔΙΛΑΠ/Γ/254/3640/10.2.86, ΦΕΚ 164/Β/10.4.86) διότι παρουσιάζει ιδιαίτερο αρχιτεκτονικό και μορφολογικό ενδιαφέρον, αποτελεί αξιόλογο και αντιπροσωπευτικό δείγμα αρχιτεκτονικής των αρχών του 20ου αιώνα στις Σπέτσες και υπήρξε κατοικία του Εθνικού ευεργέτη και ευεργέτη των Σπετσών Σωτήρη Ανάργυρου.

Το ΥΠΕΧΩΔΕ ανέλαβε τη σύνταξη μελέτης αποκατάστασης του μνημείου (1990). Το 1991 εγκρίθηκε από το ΥΠΠΟ η πρώτη φάση εργασιών αποκατάστασης του δώματος του κτηρίου η οποία υλοποιήθηκε το 1995.

Ένα από τα οράματα του Ανάργυρου ήταν να αναπλάσει το κέντρο της Ντάπιας μπροστά στο αρχοντικό του και για αυτό το λόγο έφερε έναν Ιταλό αρχιτέκτονα για να εκπονήσει την αντίστοιχη μελέτη.Τελικά το όραμα ματαιώθηκε και το μόνο που έμεινε ήταν η καρτ-ποστάλ με το σχέδιο που έχει τίτλο «Αι Σπέτσαι εξωραϊζόμεναι».

Τον καιρό της γερμανικής Κατοχής το κτίριο λειτούργησε ως Δημαρχείο.