Жванецкий замок был построен в одноименном городке, который впервые был упомянут в 1431 году. Тогда это было маленькое поселение возле границ России, Австро-Венгрии и Румынии (ныне здесь сходятся Хмельницкая, Черновицкая и Тернопольская области).
Только в начале 18 века население начало увеличиваться в связи с тем, что староста каменецкий (Каменец-Подольский находится в 18 км. от Жванца) Валентий Каленовский, построил здесь замок. Он занимал почти гектар площади и представлял собой пятиконечные стены, длиной около 85 метров, на углах которых были башни. Ворот в замок было двое, центральные - в центре западной стены, другие - в углу, с юго-восточной стороны городка.
Жванецкий замок находится в месте, где река Жванчик впадает в Днестр. Находясь между двух замков, Каменецким и Хотинским, он также часто подвергался нападению и осаде. Так, в 1621 году, во время польско-турецкой войны поляки разграбили Жванец, а замок получил большие разрушения. Позже он был восстановлен поляком Станиславом Лянцкоронским, владельцем Жванца.
В 1653 году, во времена казацко-польской войны, он был взят в осаду татарами вместе с казаками Богдана Хмельницкого, и снова пострадал от разрушений. Далее, в 1672 году, он был захвачен турками, которые двигались на Каменец. Правда, тогда он достался завоевателям без боя, так как все защитники замка заранее бежали в Каменец.
После, когда турки завладели Подольем (1672-1699г.г.), поляки два раза захватывали замок, но в их владении он оставался не долго. Только в 1699 году Жванец и замок снова начали отстраиваться, в то время это была собственность Лянцкоронских.
Последним военным действиям Жванецкий замок подвергся в 1768 году, тогда турки и татары устроили мятеж, захватили и разграбили городок и замок, следом за ними замок захватили конфедераты. После Жванец перешел к России, и замок потерял свой статус оборонительного сооружения, им никто не интересовался, и он начал разрушаться. К нашему времени уцелела лишь часть одной башни и небольшой фрагмент свода стены.