يعود أساس المسجد طبقاً لبعض الروايات إلى حياة نبي الله آدم (ع). ثم أعاد بناءه نوح النبي (ع).

في رواية عن أبي جعفر الصادق (ع) نقلاً عن المفضّل أنه إنتهى بمعية الإمام الصادق (ع) إلى الكناسة فنظر جعفر بن محمد (ع) عن يساره ثم قال له: “ههنا صلب عمي زيد رحمه الله”، ثم مضى حتى طاق الزياتينوهو آخر السراجين، فطلب منه أن ينزل فإن الموضع كان مسجد الكوفة الأول الذي خطه آدم، وهو يكره أن يدخله راكباً، فسأله المفضل: “فمن غيّره عن خطته”؟ فأجاب: أما أول ذلك فالطوفان في زمن نوح، ثم غيره بعد أصحاب كسرى والنعمان بن منذر، ثم غيره زياد بن أبي سفيان، فسأله -وكأنه مستغرب ويسمع هذا لأول مرة -“هل كانت الكوفة ومسجدها في زمن نوح”؟ فقال له: “يا مفضل، وكان منزل نوح وقومه في قرية على متن الفرات مما يلي غربي الكوفة،…إلى أن يقول: فأوحى الله إلى نوح (أن اصنع الفلك) وأوسعها وعجل عملها (بأعيننا ووحينا) فعمل نوح سفينته في مسجد الكوفة بيده يأتي بالخشب من بعد حتى فرغ منها”

يقول ابن الأثير اختطت الكوفة في سنة 17 هـ وتحول سعد إليها من المدائن. والسبب يعود على بعض الروايات إلى وصول خبر وخومة البلاد وتغيير ألوان جيوش المسلمين وحالها إلى عمر فأبعث سلمان وحذيفة رائدين فليرتادا منزلاً برياً بحرياً ليس بينه وبينهم بحر ولا جسر، فأرسلهما سعد، فخرج سلمان حتى أتى الأنبار فسار في غربي الفرات لا يقتنع بموضع حتى أتى الكوفة، كما سار حذيفة في شرقي الفرات لا يقتنع بموضع حتى أتى الكوفة، -وكل رملة وحصباء مختلطين فهو كوفة- فأتيا عليها فأعجبتهما البقعة فنزلا فصليا ودعوا الله تعالى أن يجعلهما منزل الثبات، ولما نزلها سعد كتب إلى عمر ووصف له الكوفة، واستأذن أهل الكوفة في بنيان القصب، واستأذن فيه أهل البصرة أيضا، واستقر منزلهم فيها في الشهر الذي نزل أهل الكوفة بعد ثلاث نزلات قبلها.

ويضيف ابن الأثير أن أول شيء خط فيهما وبني مسجداهما، وقام في وسطهما رجل شديد النزع فرمى في كل جهة بسهم وأمر أن يبنى ما وراء ذلك، وبنى ظلة في مقدمة مسجد الكوفة على أساطين رخام من بناء الأكاسرة في الحيرة، وجعلوا على الصحن خندقاً لئلا يقتحمه أحد ببنيان.