Το Καστράκι, με μήκος 350 μ. (Β-Ν) και πλάτος 140 μ., περιβάλλεται σήμερα σχεδόν κατά το ήμισυ από θάλασσα. Από την πλευρά της θάλασσας, στα νότια, ο λόφος είναι δυσπρόσιτος, με απόκρημνα ψηλά βράχια. Το ύψος του φτάνει τα 52 μ. Στα βορειοδυτικά, ο βράχος ενώνεται με τη στεριά με ομαλή πλαγιά. Η πλαγιά αυτή ονομάστηκε από τους Σουηδούς ανασκαφείς «Κάτω Πόλη», σε αντιπαραβολή με τη βραχώδη κορυφή του λόφου που χαρακτηρίστηκε ως «ακρόπολη». Οι συμβατικές αυτές ονομασίες έχουν καθιερωθεί στη διεθνή βιβλιογραφία
.
Στα βορειοδυτικά βρίσκεται ο ύψους 92 μ. λόφος της Μπαρμπούνας, ο οποίος προστατεύει το Καστράκι από τους δυνατούς βόρειους ανέμους. Φυσική προστασία από τους ανέμους που έρχονται από τα δυτικά προσφέρει και το νησάκι της Ρόμβης απέναντι από το Τολό, δημιουργώντας έτσι έναν ασφαλή τόπο ελλιμενισμού στον μικρό κόλπο που σχηματίζεται αμέσως δυτικά από το Καστράκι. Η διπλά προνομιούχα φυσική θέση, οχυρή και προστατευμένη από τους ανέμους, φαίνεται πως συνέβαλε καθοριστικά στην επιλογή της περιοχής για εγκατάσταση ήδη από την 3η χιλιετία π.Χ. και καθόρισε τα χαρακτηριστικά της εξέλιξής της στους αιώνες που ακολούθησαν.
