حكم من أراد الحج وخاف على زوجته الفتنة

أنا مصري وأعمل في المملكة منذ 13 شهرًا، ومتزوج وعندي أربعة من الأولاد، وأريد أن أحج هذا العام، وأنا في حيرة من أمري هل أنزل أو أنتظر لكي أقضي فريضة الحج؟ مع العلم أنني إذا نزلت فلن أعود إلى العمل مرة أخرى، وبقائي إلى الحج مضر بالزوجة لخوف من الفتنة.