Строительство «Пассажа» началось в 1858 году. Поводом для строительства Пассажа послужило желание известного на Урале антрепренера Головина давать театральные ярмарочные представления не в частном доме мещанина Федулова, а в более удобном помещении. Ирбитская городская управа решила построить большое каменное здание и приспособить его под театр. На седьмой год после закладки, к ярмарке 1864 года, строительство было закончено. Обошлось здание в 60 тысяч рублей.

Так как антрепренер не согласился на 600 рублей арендной платы за пользование зданием на один сезон, управа передала его купечеству, тем более что торговцы за 40 (а по некоторым данным 46) размещаемых в здании магазинов давали в десять раз больше. Так Пассаж стал магазином и не простым, а, как бы сказали наши современники, - элитным. 30 января 1864 года состоялось открытие пассажа. Только в нем можно было приобрести оренбургские пуховые шали и бухарские ткани ручной работы, золото и бриллианты, чеканку по серебру и драгоценные камни, музыкальные инструменты известного торгового дома Циммермана, рояли фабрики Беккер, американские и французские фисгармонии, бельгийские револьверы и другие товары. Однако зайти в пассаж мог не каждый. Два дюжих швейцара в форме зорко следили за входящими, не пропуская людей в сермягах, зипунах и другой одежде простого люда.

Место для торгового здания выбрано удачно на краю главной Торговой площади. Пассаж замыкал улицу Большую Торгово-Площадную (Красноармейскую) и был виден издалека.

Высокое, каменное, трехэтажное здание, оно как бы свысока смотрело на окружающую двухэтажную застройку и большую Торговую площадь. Став вместо театра главным элитным магазином Ирбитской ярмарки, оно осталось таковым в истории города.

В архитектурном решении главного южного фасада просматривается классическая симметричная композиция, с выделенной центральной частью и более низкими боковыми. Последние и стали рядами магазинов, которые были объединены центральной, очень светлой и высокой частью.

Однако не всегда, Пассаж выполнял функцию торгового здания.

Так 30 октября 1905 года в здании Пассажа состоялся революционный митинг, на котором с яркой речью выступил крестьянский вожак Александр Иванович Фадеев. В тот же день от здания Пассажа началась манифестация по улицам города. На одном из флагов четко смотрелось: «Рабочая социал-демократическая партия». 2 января 1906 года, устроив засаду в боковых помещениях пассажа, жандармы и полиция арестовали А. И. Фадеева и многих других делегатов съезда крестьян Ирбитского уезда, который намечалось провести в здании пассажа.

А летом 1918 года, когда в город пришли белые, контрразведка разместилась рядом с Пассажем, в большом поповском доме. Обширные подвалы пассажа быстро начали заполняться арестованными. После избиения и допросов их бросали сюда на каменный пол.

После длительного перерыва, вызванного мировой и гражданской войнами, ярмарка возобновила свою деятельность в 1922 году. Уже не трехцветный, а красный флаг взвился над пассажем. Старожилы, присутствовавшие при открытии, сняв шапки, крестясь, говорили: «Слава Богу, ожила наша матушка ярмарка!».

Шли годы. В феврале 1927 года уездная газета «Бюллетень» отмечала, что в нынешнюю ярмарку пришлось отказать десяти крупным фирмам за неимением мест в Пассаже, в то время как за последние четыре года Пассаж полностью никогда не был занят.

В 1937 — 1938 годах пассаж приобрел мрачную известность. Несколько лет здесь находилось управление СевУралЛАГА НКВД, ведавшее десятками лагерей, где томились тысячи репрессированных «врагов народа». В те годы — это слово — НКВД — было, пожалуй, самым страшным. Его произносили шепотом и с оглядкой.

В годы Великой Отечественной войны в здании Пассажа размещалось артиллерийское училище.

В последующие годы Пассаж вновь был наполнен товарами, продавцами и покупателями. В настоящее время завершены работы по реставрации всех фасадов и кровли, планируется реставрация интерьеров.

После завершения реставрации, Пассаж распахнет свои двери для торговцев, артистов, местных жителей и конечно же туристов, приезжающих полюбоваться городом Ирбит, и конечно, же Ирбитским Пассажем-жемчужиной города.