Легенда гласит, что в Россию икона попала в середине XI века (в 1046 году), когда византийский император Константин IX Мономах благословил ею в дорогу свою дочь — царевну Анну, ставшую женою князя Всеволода Ярославича. Икона стала родовой святыней русских князей, символом преемственности и династической близости Константинополя и Руси.

В начале XII века (по другим данным, в 1097 году) князь Владимир Мономах перенёс икону в Смоленск где заложил храм Успения Богоматери, в котором впоследствии и разместили христианскую святыню. С тех пор икона стала называться Смоленской, Смоленск — градом Пресвятой Богородицы, а собор — Домом Ея.

Церковное предание приписывает иконе помощь в спасении города в 1239 году от нашествия Батыя.

В 1404 году, последний из Смоленских князей Юрий Святославич принёс икону в качестве васального дара великому князю Василию Дмитриевичу и икона стала хранится в Благовещенском соборе Московского Кремля справа от царских врат. В это время Смоленск был взят и в нём на 110 лет водворилось владычество литовских князей.

В 1456 году смоляне, под предводительством епископа Смоленского Мисаила «били челом» великому князю Василию Тёмному с просьбой вернуть им икону. Князь, видя в этом шаге залог будущего воссоединения Смоленска с Москвой решил вернуть святыню. Икону подняли, с крестным ходом вынесли из Кремля и остановились на Девичьем поле у въезда на Старую Смоленскую дорогу, где после прощального молебна отпустили икону в Смоленск.

Первый почитаемый список с иконы был сделан для Новодевичьего монастыря, основанного в 1524 году по случаю возвращения Смоленска России от Литвы.

Во время Отечественной войны 1812 года икону из Смоленска привезли в Москву и в день Бородинского сражения вместе с почитаемыми чудотворными иконами Иверской и Владимирской обнесли вокруг Белого города и Кремля. Перед вступлением французов в город икону вывезли в Ярославль, а по окончании войны вернули в Смоленск.

Икона хранилась в Успенском соборе Смоленска, несмотря на его закрытие в 1929 году. В 1941 году Смоленск захватили немецко-фашистские войска, которые обнаружили икону среди прочих святынь Успенского собора. После освобождения города от оккупантов в 1943 году икона найдена не была.