История прихода, объединявшего эстонцев и финнов – жителей Тоомпеа и форштадта, восходит к 1630 году. Первоначально служба велась в одном из помещений замка Тоомпеа. Отдельное церковное здание было построено только к 4-му Адвенту 1670 года. Находилось оно на несколько сотен метров к юго-востоку от теперешней церкви, где еще в орденские времена была часовня Святого Антония. Поскольку церковь была построена в годы царствования короля Карла XI, то ее и назвали Карловской. О внешнем облике этого здания сохранилось мало сведений. Известно лишь, что это была деревянная постройка с планом в форме греческого креста.

 Накануне наступления русских войск в августе 1710 года все постройки форштадта, в том числе Тынисмяги, были выжжены. Уничтожили и Карловскую церковь. После ликвидации церкви в течение нескольких десятилетий распался и приход: часть прихожан отошла к церкви Пюхавайму, часть – к приходам церквей в Йыеляхтме и Кейла. В 1739 году последний пастор прихода перебрался на жительство в Раквере.

Вновь вспомнили о карловском приходе и церкви в середине 19 века. Тогда на повестке дня остро встал вопрос о сооружении в Таллинне более крупного храма для нужд эстонского прихода. Как известно, удельный вес эстонского населения среди горожан постоянно возрастал и достиг такого количества, что церковь Пюхавайму стала тесна и уже не вмещала разросшегося прихода. Сбор средств для новой церкви начался в конце 1850 года. Большой суммой начинание поддержало таллиннское рыцарство. Земельный участок и часть материала для строительства храма подарил старейшина (олдерман) Домской гильдии Ханс Хейнрих Фальк.

Первый камень в фундамент нового храма был заложен 28 октября 1862 года ( по старому стилю). Автором проекта был Отто П.Гиппиус, проведший большую часть жизни в Петербурге, но тем не менее тесно связанный с Эстонией архитектор, по замыслам которого, среди прочего, были построены Александровская церковь в Нарве и замок Сангасте. На роль строительного мастера был приглашен из Пыльтсамаа Густав Хейнрих Беерманн, технический надзор осуществлял губернский архитектор Рудольф Отто Кнюпфер.

Уже с воздвижением первых стен стало ясно, что сооружается один из крупнейших храмов в Таллинне. И хотя в строительных работах случались задержки, 20 декабря 1870 года (по старому стилю), то есть ровно два века спустя после сооружения первой Карловской церкви, было совершено торжественное освящение нового храма. Освящение проводил тогдашний генерал-суперинтендант Вольдемар Шульц, первую проповедь прочитал пастор Иоханн Готлиб Конрад Бергвиц. Башни церкви были закончены только в 1882 году, а предназначенные по проекту фигуры для стенных ниш отсутствуют и по сей день.

Карловская церковь является крупнейшей в сакральном зодчестве Эстонии не только по вместимости (около 1 500 сидячих мест), но и в архитектурном плане. Постройка в духе историцизма, с чертами неороманского стиля, выполнена из тесаного известняка и имеет в плане форму латинского креста. Западный фасад церкви с двумя высокими башнями напоминает кафедральные соборы Западной Европы.

Над дверью главного входа (подарок доктора Филиппа Карелля) расположено большое круглое окно – роза, куда в 1909 году вмонтировали часы, выполненные в Германии. В оформлении боковых фасадов важную роль играют арочные окна. Со стороны хора здание закончено полигональной апсидой, окруженной низким блоком, напоминающим венец капелл.

Архитектурное воздействие здания сконцентрировано в интерьере – помещение кажется необычайно просторным и величественным. Особенно впечатляет остроумно решенная опорная система перекрытия – опирающийся на кирпичные арки деревянный потолок позволил перекрыть большое пространство без единого промежуточного столба (решение было выполнено в сотрудничестве с архитектором Рудольфом фон Бернхардтом).

Основная часть убранства церкви – кафедра, скамии, балкон органа и пр. Была выполнена по рисункам О.П.Гиппиуса. Особо ценным украшением интерьера храма является алтарная роспись благословляющего Христа, которая по примеру византийских церквей, расположена в алтарной нише. Роспись выполнил в июле 1879 года Иохан Кёлер. Трехчастная композиция нижней части алтаря работы Салли фон Кюгельген (1889).

Первый орган церкви изготовил Густав Норманн, теперешний – с романтическим звучанием, изготовлен фирмой “Валкер” в 1923 году. Орган имеет три мануала, 81 звучащий и 3 трансмиссионных регистра и является одним из крупнейших в Эстонии. Большинство люстр церкви – пожертвования, крупнейшая подарена Георгом фон Мейендорфом. Из двух церковных колоколов один сохранился еще от старой Карловской церкви (отлит в 1696 году в Стокгольме), другой изготовлен в 1870 году в Богуме.

Характерная архитектура Карловской церкви нашла продолжение в двух малых постройках, сооруженных этим же приходом. Это часовня кладбища Рахумяэ (инж. А.Уэссон, 1911-13) и надвратная постройка (около 1893) на кладбище Сиселинна (бывшее Старое Карловское).На последней из упомянутых башен находится один из колоколов Карловской церкви шведского периода.

Антс Хейн