1662’de Medine’yi ziyaret eden Ebû Sâlim el-Ayyâşî, Peygamber Efendimiz’in muhtelif yerlerde bayram namazı kıldırdığını, bunlardan üç tanesinin meşhur olduğunu kaydeder. Bunlardan biri de Mescid-i Ebu Bekir’in hemen kuzeyinde, Hz. Osman evinde isyancılar tarafından kuşatıldığında Hz. Ali’nin Medine musallâsında bayram namazını kıldırdığı yerdir.
İlk defa Ömer b. Abdülaziz tarafından inşa edilen Mescid-i Ali, 1990’da 882 m2’lik biralan üzerine eski tarzına benzer bir şekilde inşa edilmiştir