Возникновение монастыря связано со священномучеником Климентом, Папой Римским в 92-101 годах, сосланного императором Траяном за проповедь христианства в каменоломни близ Херсонеса и убитого здесь в 101 году. Мощи святого Климента, обретенные через год после его кончины, хранились сначала в подводном гроте близ Херсонеса (где были обретены), доступ в который открывался, по преданию, раз в год, когда - в день смерти праведника - море отступало; потом они были перенесены на небольшой остров (ныне - остров Казачий) посреди бухты, на котором, согласно легенде, руками ангелов была построена церковь.

Пещерный монастырь св. Климента возник в VIII-IX веках рядом с византийской крепостью (позже принадлежала княжеству Феодоро, известна под названием Каламита).

Церковь св. Климента (бывшая Георгиевская) в Инкерманском монастыре.

После захвата в 1475 году крепости Каламита турками, монастырь постепенно пришел в упадок. Крепость была переименована в Инкерман, что и дало название возникшему здесь городу. С 1783 года город принадлежал России.

В 1850 году монастырь был возрождён и получил современное двойное наименование - по имени города и в честь св. Климента.

В 1867 году был перепланирован и заново открыт пещерный храм св. Мартина исповедника. В 1895 в память о спасении царской семьи в железнодорожной катастрофе был построен храм во имя великомученика Пантелеймона. В 1905 году в память о Крымской войне на верхнем плато была построена церковь во имя святого Николая Мирликийского (по проекту архитектора Г. П. Долина).

C 1924 года храмы монастыря стали постепенно закрывать. В 1927 году землетрясение сильно повредило Благовещенскую и Николаевские церкви, было принято решение их разобрать (закрытая в 1926 году церковь святого Николая на верхнем плато была полностью уничтожена в 1932 году). В 1928 году был закрыт храм иконы «Всех скорбящих Радосте».

В 1931 году в пещерных храмах прекратились богослужения, монастырь был окончательно закрыт, его имущество передано Севастопольскому музейному объединению. После закрытия монастыря в нём остались жить его настоятель Венедикт, отец Прокопий и два 85-летних старца.

Во время Великой Отечественной войны в пещерах монастыря размещался штаб 25-ой Чапаевской дивизии Приморской армии. В июне 1942 года солдаты этой дивизии на Инкерманских высотах сдерживали врага, рвавшегося к Севастополю.

С 1991 года началось постепенное возрождение монастыря, были восстановлены храмы и келейные корпуса.