Hz. Ömer r.a 637 yılında (hicri 15) Beytülmakdis’i fethettiğinde Mescid-i Aksa sahasını etrafı açık olarak ve üzerinde hiçbir bina olmadığı halde buldu. İhmal edilmiş boş bir arazi idi. Hz. Ömer r.a., Müslümanlarla beraber Mescid-i Aksa’nın bulunduğu alanı çöplerden temizledi, ilk olarak küçük bir mescit inşa edildi. Bina oldukça basit tasarlanmıştı; büyük ahşapların birbirine bağlanmasıyla yapılan mescid ve ancak üç bin kişiyi alabilecek genişlikteydi. Hz. Ömer’in r.a. mescidinden günümüzde hiçbir iz kalmamıştır. Emeviler Hz Ömer’in Mescidi’nin yerine Kıble Mescdini inşa ettiler, tarihi mescid, sol tarafta kıble yönündedir. Hz. Ömer Mescidi yakın zamanda ikiye bölündü, bir kısmı mescid diğer kısmı ise acil durumlar için revir olarak kullanılıyor.

Hz. Ömer Mescidi'nde mermerden yapılmış bir mihrab bulunmaktadır mihrabın her iki yanındaki hayvan suretleri haçlılar belki deki daha önceki devirlerden kalma eserlerin parçalarıdır. Bu taşlarda sadece hayvan figürlerinin baş kısımları tahrip edilmiş, kalan kısım “sahip çıkılmazsa tekrar kaybedileceğinin unutulmaması için” olduğu gibi bırakılmıştır. Şimdiki hali yaklaşık olarak 50 kişi namaz kılabilir durumda.