Πρόκειται για το σπίτι του Έλληνα συγγραφέα, όπου μεγάλωσε και πέθανε. Ο Παπαδιαμάντης υπήρξε μια σεβάσμια δημόσια φιγούρα του νησιού που προσέφερε σημαντικά στην τοπική κουλτούρα μέσα από τα διηγήματα του, αν και ο ίδιος έζησε μια ταπεινή ζωή. Το σπίτι στις μέρες μας λειτουργεί ως μουσείο και αξίζει τον κόπο να το επισκεφθείτε καθώς το οίκημα είναι ένα μνημείο από μόνο του και χαρακτηριστικό δείγμα παραδοσιακής αρχιτεκτονικής του νησιού.
Γύρω στα μέσα του 14ου αιώνα, λόγω των συνεχών πειρατικών επιδρομών, οι Σκιαθίτες αναγκάστηκαν να εγκαταλείψουν την αρχαία πόλη Σκιάθο και να ιδρύσουν την πόλη τους στο Κάστρο, μια χερσόνησο στο βόρειο τμήμα του νησιού, η οποία ήταν ένα φυσικό φρούριο.
Για να ενισχύσουν το φυσικό αυτό φρούριο, το έκλεισαν με τείχη διάσπαρτα με πολεμίστρες και κανόνια, τα οποία κυρίως προς την ξηρά, ήταν ισχυρότατα και πανύψηλα.
Η επικοινωνία του φρουρίου με την ξηρά γινόταν με μια ξύλινη κινητή γέφυρα, η οποία ένωνε την πύλη του φρουρίου με το απέναντι ύψωμα. Σε περίπτωση ανάγκης μαζευόταν προς το εσωτερικό του Κάστρου, μη επιτρέποντας έτσι την είσοδο στους εχθρούς. Πάνω από την πύλη υπήρχε μια ταράτσα με την απαραίτητη ζεματίστρα.
Από την ίδρυσή του ως το 1453 το Κάστρο το εξουσίαζαν οι Βυζαντινοί, στη συνέχεια ως το 1538 οι Ενετοί και ως το 1821 οι Τούρκοι. Για ένα μικρό διάστημα γύρω στο 1660, το Κάστρο πέρασε και πάλι στα χέρια των Ενετών.