نكاح المسلم الفاسق صحيح

أنا عقدت قراني منذ أربع سنوات وبعد حوالي سنة من عقد القران التزمت.. ولم أكن قبل الالتزام أهتم أن يكون خطيبي يصلي أم لا.. وأما بعد أن هداني الله تعالى حاولت أن أدعوه.. وهو يستجيب لي دائما ولكنه ينسى ويعود إلى حاله لأني لا أراه إلا بعد كل فترة طويلة.. وطوال هذه السنين وهو ينفق علي من كل شيء مع أني لازلت في بيت أهلي.. وأنا لم أيأس بعد من دعوته في كل مرة وهو يتقبل مني، ولكن يعود بعد فترة وجيزة أكثر ما يؤلمني هو الصلاة التي يضيعها وأخاف أن يكون زواجي منه باطلا.. وفي نفس الوقت لا أستطيع أن أتركه لسببين أولهما أنه يستجيب للدعوة وأخاف إن تركته يضيع والثاني أنه أنفق علي الكثير طوال هذه السنين مما لا أستطيع رده.. أرجو منكم النصيحة؟