Первое упоминание о Летичеве зафиксировано в 1210 году, поэтому эту дату и считают датой основания города. Замок в Летичеве был построен в 1362 году литовскими феодалами, которые владели городом. Официальных сведений о виде тогдашнего здания не сохранилось, однако понятно, что это было оборонное сооружение, стены которого были деревянными.

В 1434 году город переходит во владение польских королей. Однако литовцы не хотели отказываться от Подолья. Борьба между ними с переменным успехом. А в ХV-ХVII веке Летичев выдерживал постоянные набеги турков и татар Крыма.

В 1579 году Ян Потоцкий взялся за перестройку деревянной крепости в крепкий каменный замок. Первым изобразил замок французский инженер Гийом де Боплан. Благодаря ему мы можем узнать, что здание было четырехугольной формы с круглыми башнями. Замок ограждался валом с частоколом. Между стенами здания и валом был глубокий ров, который наполнялся водой из реки Волк (она впадает в Южный Буг). В Исторических источниках указано, что это здание было уникальным на Подолье.

В 1606 году на замковом дворе начали строить доминиканский монастырь.

Сегодня замок охраняет бронзовый памятник народного мстителя Устима Кармелюка, потому что именно в этом городе его могила. В 1846 году в Летичеве бывал Кобзарь - Тарас Григорьевич Шевченко. Проездом посетил Летичев в 1854 году писатель Лев Толстой.

Реставрацию замкового комплекса провели в 2000 году.