Το κάστρο δεσπόζει στην κορυφή του λόφου Πίτυος στη βορειοανατολική πλευρά της Λέρου σε ύψος 600 περίπου μέτρων από τη θάλασσα. Δεν είναι ορατά λείψανα αρχαίας κατοίκησης. Σχετικά μικρό σε έκταση, είναι εντούτοις "οχυρότατον και απόρθητον". Το κάστρο του Παντελίου συνδέθηκε από το 1087, σύμφωνα με χρυσόβουλλο διάταγμα του Αλεξίου Α' του Κομνηνού που σώζεται στη Μονή Πάτμου, με τον ιδρυτή της Μονής Αγίου Θεολόγου Πάτμου, όσιο Χριστόδουλο. Όπως φαίνεται, το παρέλαβε σε οικτρή κατάσταση και περιελάμβανε το περιτείχισμα, εκκλησία με κελλιά και λιγοστά κτίσματα σε ερειπιώδη κατάσταση. Μαρτυρία της ιπποτικής κατοχής του νησιού είναι τα τέσσερα οικόσημα σε διάφορες θέσεις των οχυρώσεων, τα οποία δείχνουν το ενδιαφέρον των ιπποτών για συμπληρώσεις και επισκευές. Στη δυτική πλευρά του φρουρίου βρίσκεται ο ναός της Παναγίας, ίσως του 18ου αι. με σημαντικές προσκυνηματικές εικόνες. Στο κέντρο του κάστρου, υπάρχει μία υπόστεγη εκκλησία, η Φραγκοκλησσιά. Κατά τη διάρκεια της Ιταλικής κατοχής από το 1912, έγιναν διάφορες τσιμεντένιες επεμβάσεις στο κάστρο που χρησιμοποιήθηκε ως στρατώνας και παρατηρητήριο.
Μπορείτε να προσεγγίσετε οδικώς μέσω ασφαλτοστρωμένου δρόμου μέχρι την είσοδο του κάστρου και στη συνέχεια με τα πόδια.
