در اواسط قرن پنجم میلادی خاندان قریش بر مکه تسلط یافتند و قصی بن کلاب مسئولیت نگهداری از مکه و کلیدهای این مکان مقدس را به عهده گرفتند.زمانی که کعبه توسط حضرت ابراهیم (ع) بازسازی شد، پس از ایشان و حضرت اسماعیل، نگهبانی و نگهداری از این خانه مقدس، به قبیله جرهم سپرده شد که از یمن آمده بودند.