За более чем 600 лет своего существования замок был казармой, складом, судом, тюрьмой и музеем. В XVI веке соседнее поселение получило городские права, и на свет явился город Инстербург.
Шведские гости вновь пожаловали сюда в XVII веке — на сей раз как враги. Инстербург держал осаду, у закрытых ворот замка, в то время защищённого валом, рвом, башнями и подвесным мостом, разбивались вражеские атаки. Только один раз, в 1679-м, ворота открылись под натиском шведских войск, которыми командовал генерал Густав Горн. Шведы провели в замке 14 дней и полностью разграбили его.
Сейчас здесь действует музей, работают открытые площадки и даже небольшой театр.