鬼ノ城の南面乃至南東面より北面にかけてが防衛正面、北西面が城の背面側と考えられ、正面側は峻険な急崖を呈すが、頂部は平坦な、まるですり鉢を伏せたような山容である。
山腹の八合目から九合目にかけて、下部を石垣や列石、上部は土を一層ごとに堅く叩きしめた版築土塁からなる城壁が延々２.８Ｋｍにわたって巡る。
城壁は平均幅７ｍ、高さ約６ｍで、数ｍないし十数ｍの直線を単位として結節する折れをもち、地形により随所に敵折、味方折を形成しつつ一巡する。
防御正面は急峻な地形に加え、要所には堅固な高石垣を築いており、その威圧感は天然要害の地であることとあいまって、圧倒的な迫力をもっている。
城壁で遮断されている場内には４つの谷を含んでいるため、南面の谷部の城壁には堅固な水門石垣が５ケ所に築かれており、また城内への出入り口となる城門は４ケ所に設けられ城の北西端には角楼があったことが近年の発掘調査で判明した。
さらに城内には、穀物貯蔵庫と推定される建物の礎石群が数棟分確認されている。
主要な遺構のうちの、角楼跡や南門跡については、総社市のホ−ムペ−ジ鬼の城を参照下さい。
