جميع المؤرخين من المسلمين وغيرهم على أن الكعبة بنيت مرات، وقد اختلفوا في عدد بنائها، ويتحصل من مجموع ما قيل في ذلك أنها بنيت عشر مرات (الفاسي في شفاء الغرام، والنهروالي في الأعلام)؛ وهي بناء الملائكة، وبناء آدم وبناء أولاده، وبناء الخليل إبراهيم، وبناء العمالقة، وبناء جرهم، وبناء قصي، وبناء قريش قبل البعث وعمر محمد خمس وعشرون سنة، وبناء عبد الله بن الزبير بن العوام، وآخرها بناء الحجاج بن يوسف الثقفي. وفي الحق أنها عُمرت بعد ذلك مرات. أما بناء الملائكة وآدم وأولاده فلم يَرْوِهِ معصوم ولا ثقة، وهذا رأي كثير من مؤرخي مكة الموثوق بهم. ذكر الفاكهي عن علي بن أبي طالب أن إبراهيم أول من بنى الكعبة. وجزم عماد الدين بن كثير في تفسيره فقال: «لم يَرِدْ عن معصوم أن البيت كان مبنيًّا قبل الخليل. أما بناء إبراهيم فثابت بالكتاب والسنة والتاريخ الصحيح قديمًا وحديثًا. وقد ظهر حرص إبراهيم في البناء وقصده إلى أن يكون البيت معبدا لله، فحسب حساب النذور، فحفر في بطن البيت على يمين من دخله حفرة تكون خزانة للبيت، يوضع فيها ما يُهدى إلى البيت. وهبط أثناء البناء حجر من السماء، هو الحجر الأسود، ولعله من نوع النيازك؛ بدليل وصفه أنه كان يتلألأ نورًا فأضاء شرقًا وغربًا وشامًا ويمنا إلى منتهى أنصاب الحرم. وتلألؤه الموصوف في الكتب دليل على أنه كان ذا لون غير السواد، ولكن بعض المؤرخين يعلل سواده بأنجاس الجاهلية وأرجاسها. وقد ثبت أن بعض النيازك يتغير لونها بمجرد مرور الزمن عليها، ومنها ما يتلألأ ويلمع. والكلمة من أصل فارسي «نيزه»، وهو أحد أقسام الشهب، والشهاب ما يُرى كأنه كوكب انقض من السماء، وتكثر في شهر آب. كانت الكعبة قبل أن تبنيها قريش مبنية برضم يابس ليس بمدر تنزوه العناق، فأقبلت سفينة للروم حتى إذا بلغت ساحل مكة وهي يومئذ الشعيبة قبل جدة فجنحت السفينة ثم انكسرت فسمعت بها قريش، فركبوا إليها وأخذوا خشبها واستأجروا روميًّا كان فيها اسمه باقوم أو يواقيم، وكان نجارًا ماهرًا وبَنَّاء حاذقًا، فلما بلغوا مكة كلفوه ببناء الكعبة، فاقترح عليهم نقل الحجارة من الضواحي. وقد اشترك محمد صلى الله عليه وسلم في نقل الحجارة وهو شاب وهدموا البناء القديم، ولكنهم عجزوا عن رده لأصله؛ لقصر الخشب، فاستقصروا وتركوا منها في الحجر ستة أذرع وشبرا. وكان يواقيم قد أشار عليهم أن يبنوا سأفًا من حجارة وسأفًا من خشب؛ أي «مدماكا» من كلٌّ منهما، حتى انتهوا إلى موضع الركن فاختلفوا في وضعه وكثر الكلام فيه، فقال أبو أمية: «حكموا بينكم أول من يطلع عليكم من هذا الفج. قالوا رضينا وسلمنا. فطلع محمد (صلى الله عليه وآله وسلم)، وكان غلامًا ومشهورًا بالأمانة فقالوا: «هذا الأمين قد رضينا به!» فحكموه فبسط رداءه ثم وضع فيه الركن - وهو الحجر الأسود – فدعا من كل ربع رجلًا فأخذوا بأطراف الثوب، وهم: عتبة بن ربيعة (عبد مناف)، وأبو زمعة بن الأسود، والعاص بن وائل، وأبو حذيفة بن المغيرة، وقام محمد (صلى الله عليه وآله وسلم) على الجدر ثم وضعه بيده؛ فانتقدهم رجل نجدي قائلًا: عمدوا إلى أصغرهم سنًا وأقلهم مالا فرَأْسُوه عليهم! أو كما قال نقلا عن كتب السيرة: «وا عجبًا لقوم أهل شرف وعقل وسن وأموال عمدوا إلى أصغرهم سنا وأقلهم مالا فرَأْسُوه عليهم في مكرمتهم وحوزهم كأنهم خدم له.» فكان محمد (صلى الله عليه وآله وسلم) محسودًا من هذا الغريب على تلك المكرمة.