حكم حج من كان مديناً لغني

هذه ثاني مرة أحج فيها إلى بيت الله الحرام وعلي دين كبير لأخ كريم وهو حتى الآن يسامحني ويقول لي: على مهلك وأنا متسامح وذلك؛ لأن حالته ميسورةً جداً فهل في هذا حرج علي في حجي؟