Kütüphane, Mescid-i Aksa’nın güneybatı yönündedir. Eski Kadınlar Mescidinin bir kısmından çevrilerek ortaya çıkmıştır. Aksa Kütüphanesinin uzun bir serüveni vardır. Çoğu el yazması eserlerden oluşan kütüphane ilk olarak 1922 yılında Nahaviyye Kubbesinde açıldı, daha sonra Es’ardiye Medresesine taşındı. Bir süre orada kaldıktan sonra İslam müzesine, oradan da Eşrefiye Medresesine taşındı. En son olarak da şimdi bulunduğu mekân olan Kadınlar Mescidinin bir kısmında bulunmaktadır. Özellikle Şeyh Halil Al-Halidi ile Muhammed Al-Halili kendi kitaplarını bu kütüphaneye devretmesi ile Kütüphane kitap yönünden oldukça zenginleşti. Kütüphanede günümüzde 14 bin adet ciltli kitap, ilaveten bir miktar el yazma eser de bulunmaktadır. Osmanlıca el yazma eserleri de bulmak mümkündür.