Замок был заложен в 1293 году, что предшествовало основанию города. Основателем замка считается маршал Торгильс Кнутссон.
Достоверных сведений о первоначальном облике Выборгского замка не сохранилось. По всей вероятности, на возвышенном скальном плато острова построили толстостенную квадратную в плане башню из серого гранита и окружили ее оборонительной стеной. Гарнизон, как полагают, размещался в башне, где на каждом этаже имелись жилые помещения. Крыша представляла собой ровную площадку, окруженную парапетом. Башню назвали именем святого Олафа. Стены основания имели толщину от 1,6 до 2 метров. Высота составляла не менее 7 метров. На них и вокруг них постепенно формировался сам замковый комплекс.

Наивысшего расцвета Выборгский замок достиг в 40-е годы XV века, в период наместничества Карла Кнутссона Бунде. В этот период в замке шли большие строительные работы. Был перестроен и стал жилым третий - боевой этаж главного корпуса, надстроен и стал боевым четвертый этаж. В этом корпусе располагались роскошные покои, в которых обитал сам наместник, останавливались короли, важные персоны гражданского и военного ведомств Швеции.

С целью укрепления обороны замка перед главным корпусом и башней святого Олафа была возведена южная оборонительная стена, включавшая в себя башни Новую, Караульную, Пожарную и Тюремную. Новая стена прошла с восточного побережья пролива до западного, отсюда - от Тюремной башни - повернула на север, где сосредоточилась с первоначальными укреплениями на возвышенной части острова. Таким образом, она образовала цвингер, охвативший южную сторону первой крепости. От Пожарной башни на Абоский мост, соединявший город с острова Линнансаари (ныне о. Твердыш), опускался подъемный мост. На северо-восточной стороне острова возвышалась башня Сапожника, на юго-востоке шло строительство Райской башни, примыкавшей к главному корпусу на стыке его южного и восточного флигелей. Обе эти башни были призваны защищать замок со стороны города.

Неоднократно Выборг подвергался осадам русских войск. Со временем крепостные укрепления ветшали, теряли свою оборонительность. В 1555 году угроза новой войны с Россией побудила короля Густава Вазу лично осмотреть пограничные с Россией рубежи. Во время поездки он несколько дней провел в Выборгском замке. Во многом по рекомендациям Густава Вазы, в замке начались, а при последующих королях продолжились широкомасштабные строительные и реконструктивные работы, с целью приспособить укрепления для того, чтобы они могли противостоять огнестрельному оружию. Начало работ относится к 1559 году, когда в замке, в период наместничества Клауса Кристерссона Хорна, с восточной стороны у основания вала, обращенного в сторону города, была сложена опорная стена, толщиной в две сажени, на что пошло 20500 кирпичей. В 1583 году эта стена была перестроена в оборонительную и имела бойницы для ручного огнестрельного оружия. На юге эта стена соприкасалась с южной стеной XV века. Из восточной стены выступали две постройки: одна из них - бывшая башня Сапожника была теперь соединена с главным корпусом замка и стала его частью, другая - юго-восточная являлась особым двухъярусным устройством, выводившим вниз, к берегу, к дамбе, проложенной в 1561 году через пролив и соединившей замок с городом.
В 1560 году велись ремонтные работы в помещениях главного корпуса и ряде построек на острове. Дорога вокруг замка была выложена камнем.
В 1561-1564 годах велись работы по реконструкции башни святого Олафа: башня была разобрана до второго этажа, затем ее верхняя часть была надстроена из кирпича - третий и четвертый этажи в форме четырехугольника, три верхних - получили восьмигранную форму. Высота башни - без кровли - составила около 40 м. На межэтажных перекрытиях были настланы полы, построена каменная винтовая лестница. У бойниц верхних этажей установлены пушки крупного калибра, державшие под прицелом всю окружающую территорию. Крыша башни была сделана из бревен и досок и покрыта кровельным свинцом, присланным королем Эриком из Стокгольма.
Таким образом, башня святого Олафа стала артиллерийской и являлась в то время одним из крупнейших сооружений такого рода в Северной Европе.
Строительными работами в замке в этот период руководил немецкий мастер Иоганн де Порте; в 1570-х годах на службу в замком был принят архитектор Якоб ван Стендель.
В 1580-е годы коренной реконструкции подверглась южная оборонительная стена. Была разобрана часть стены между башнями Новой и Караульной. Трасса новой стены отодвинулась вглубь острова и прошла под Кузнечным двором до южного угла современных складских помещений. На месте Караульной башни было возведено двухэтажное здание, основание Новой башни стало в 1588 году частью фундамента трехэтажного флигеля, примыкавшего своей северной стеной к южному флигелю главного корпуса замка. От этой южной оборонительной стены до наших дней сохранился лишь фрагмент ее с шестью бойницами.
С 1582 года вместо деревянных пожароопасных шканцев и больверков стали возводить каменную наружную стену, которая дугой охватила остров с западной и частично северной стороны. На плане острова 1615 года она выглядит уже завершенной.
В 1606-1608 годах Пожарная башня и привратный дом при въезде на остров были перестроены и объединены в один каменный трехэтажный с башней - Дом наместника. Для своего времени это было самое комфортабельное здание Выборга, в котором проживал наместник. В 1634 году - в связи с административной реформой - дом стал резиденцией губернатора. Последним из шведских королей, побывавших в замке, был король Густав II Адольф.
В последующие столетия строительные и ремонтные работы в замке продолжались, но уже не имели такого размаха, как прежде. Так, в конце XVII века к наружной оборонительной стене изнутри были пристроены здания цейхгаузов.
В течение первых веков своего существования замок как форпост шведского королевства и католической церкви неоднократно подвергался нападениям со стороны Новгорода и Московии. Кроме того, он был местом междоусобной борьбы внутри самого шведского королевства. Много раз его башни и стены попадали под артиллерийские обстрелы. В 1706 и 1710 годах Выборг и Выборгский замок подверглись бомбардировке артиллерией Петра Великого.

В 1710 году Выборг был взят, и таким образом замок перешел в руки русских военных властей.
Со временем Выборгский замок потерял свое военное значение и превратился в тюрьму и склад.

После восстания 1825 года, направленного против царя Николая I, здесь находились в заточении многие из декабристов (И.А. Анненков, М.К. Кюхельбекер, М.С. Лунин, П.А. Муханов и др.). Было доставлено около 300 участников восстания на Сенатской площади. В 19-м столетии мирная жизнь замка оказалась не менее драматичной, чем в сражениях прошлого: замок дважды горел. В 1834 году пожар случился из-за молнии (18 апреля в 10 часов утра при юго-западном ветре над городом разразилась сильная гроза. От удара молнии загорелось покрытие главной башни крепости. Прибывшие пожарные и солдаты из-за большой высоты строения оказались бессильными потушить огонь. Они спасли лишь артиллерийские склады и сараи с серой и селитрой, хранившиеся для изготовления пороха), а в 1856 году из-за фейерверка в честь открытия Сайменского канала (7 сентября, когда в сумерках засверкали огни фейерверка, от попадания ракет вспыхнуло покрытие башни. От нее огонь распространился на другие строения. На следующий день от замка остались лишь обгорелые каменные стены). После первого пожара крыша-купол замка была быстро отремонтирована, но после второго главная башня на многие десятилетия осталась без всякой защиты от непогоды. К тому времени, когда, наконец, были предприняты восстановительные работы, башня была сильно повреждена. Все это время в замке использовались только нижний этаж и дом привратника, построенный в 1608 году, как резиденция владельца замка. До отделения Финляндии от России здесь располагался штаб русских военных властей, поэтому сегодня это здание, которое до сих пор служит главным входом в замок, более известно как "Дом коменданта".
К концу половины 19-го века статус замка значительно вырос. Среди финских образованных кругов он приобрел значение памятника старины национальной важности. Необходимость воссоздания Выборгского замка с годами становилась все более очевидной. В 1864 году предполагалось восстановить его для нужд гарнизона, размещенного в городе. Работавшая в замке комиссия под руководством архитектора Ф. Оденвалла выполнила обмерные чертежи и зафиксировала техническое состояние всего сооружения. В 1883 году главной башне замка сделали плоское консервирующее крытие. Перспективы в возрождении этого памятника средневековья обозначились в 1885 году. Архитектор Я. Аренберг выполнил проект реставрации и приспособления замка под историко-этнографический музей и городскую библиотеку с читальными залами. Проект предусматривал поместить в замке архивы городского магистрата, суда и городской финансовой палаты. Обширные подвалы предполагалось использовать для вещевых складов войск местного гарнизона. Но проект Я. Аренберга остался только в чертежах и книжных иллюстрациях.

В 1888 году царь Александр III издал указ, согласно которому Выборгский замок должен был все же остаться в ведении военных. Император подчеркнул, что поддержание в порядке этого исторического памятника, прославившего русское оружие, должно быть обязанностью военного министерства.
В 1891-1894 годах, под руководством русского военного инженера, полковника Лезедова, замок был восстановлен и приспособлен под служебные помещения. На практике это означало почти полную перестройку верхней части основного корпуса замка. Главная башня получила новую куполообразную крышу на усиленном железном каркасе. Форма купола повторяла кровлю, возведенную русскими военными властями в XVIII веке. На башне была устроена смотровая площадка, откуда виден весь город.

В 1990-х годах она стала серой, а сейчас снова белая. Увенчал замковую башню флагшток. В 20-м столетии на этом флагштоке реял не один флаг, ведь город переходил из рук в руки. 20 июня 1944 года советские войска подняли над башней временный флаг - красную юбку, которая сейчас выставлена в музее замка. Финский же флаг, спущенный минутами ранее, демонстрируется в Военном музее Хельсинки.
Хотя замок - и особенно его башня - играет ведущую роль в городском ландшафте, интерьер его скромен. В 1895 году городской архитектор Выборга, посетив замок после ремонта, выразил восхищение его новым помещениям, но заметил, что они полностью лишены ауры древности. Сегодня от раннего периода в интерьере замка сохранилось очень немногое. Современный посетитель вряд ли найдет здесь следы средневековой придворной жизни, кирпичные своды и жилые покои.
В 1911 году по инициативе коменданта выборгской крепости генерал-майора Петрова, в одном из помещений замка был открыт военный музей имени Петра I, покорителя Выборга. Этот военный музей значительно пострадал в смуте гражданской войны и впоследствии его сохранившиеся экспонаты были переданы в городской исторический музей. В конце финской гражданской войны 1918 года в главном корпусе замка располагалось руководство "красных" - Совет народных уполномоченных и штаб Красной гвардии, а также содержались пленные из числа "Белых", которые затем помогли своим соратникам без боя занять замок, а потом захватить и город. После окончания гражданской войны замок стал собственностью финского государства. И хотя жители Выборга по-прежнему хотели видеть в нем исторический музей, он до 1940 года оставался собственностью военных властей - теперь уже финских. Во время Второй мировой войны замковый комплекс не понес значительных повреждений - за исключением "Дома коменданта". В 1960-х годах это здание было восстановлено под руководством двух эстонских специалистов. По сравнению с более ранними восстановительными работами, проводимыми в замке, эта реставрация была, конечно, не такой масштабной.

Сегодня в главном трехэтажном корпусе замка располагается государственный музей "Выборгский замок".

Он был основан в 1960 году, а в 1970 году здесь была организована первая постоянно действующая выставка. На первом этаже сейчас развернута экспозиция, отражающая историю замка, а на втором - экспозиция, посвященная истории Выборга в двух войнах между Советским Союзом и Финляндией (1939-1940, 1941-1944).

В холле музей в 1997 году была открыта постоянная выставка "Шведский Выборг". Экспозиция, расположенная на верхнем этаже, отражает историю Выборга в советский период, а так же знакомит посетителей с природой Карельского перешейка. Коллекция музея в Выборгском замке сложилась в послевоенный период и включает произведения искусства, переданные из других российских музеев, а также задержанные при попытке вывезти их из России, это дало повод организовать в замке остроумную экспозицию, посвященную роли таможни в жизни города. Коллекция же первого городского музей, основанного в Выборге в 1895 году, во время войны частью погибла, а частью была эвакуирована в Финляндию.