يقع المسجد بين الشارع المؤدي إلى مقبرة المعلاة وبين شارع المعلاة، وسمي بهذا الاسم نسبة إلى المكان الذي اجتمع فيه النبي بالجن ليلا، وكان بصحبته الصحابي عبد الله بن مسعود، وحيث خط له النبي خطا على الأرض وأمره ألا يتجاوزه حتى يرجع إليه، ثم انطلق النبي صلى الله عليه وسلم إلى الجن وظل يعلمهم الإسلام ويجيب على أسئلتهم حتى الفجر، وفيه أنزلت سورة الجن.