鎌倉時代から明治維新までおよそ670年間、人吉球磨地方を統治していた相良家の居城でした。石垣の一部には、ヨーロッパの築城技術である槹出工法を応用した「武者返し」と呼ばれる独特の石垣があります。川や山々に囲まれた難攻不落の自然要塞でしたが、1862年に城下町を焼き尽くしたという寅助火事により焼失しました。
　現在は、公園として憩いの場となっており、春には桜、秋には紅葉が楽しめます。2006年には日本百名城に選ばれました。
※令和2年7月豪雨の被害により、一部立入禁止になっています。