الصلاة في مسجد لا يصلى فيه إلا صلاة الجمعة

السؤال: يوجد بجانبنا مسجد يبعد عنا كيلو، ولا نصلي فيه إلا صلاة الجمعة ويصلي فيه التلاميذ صلاة الظهر، وبعض المارة يصلون فيه صلاة العصر، هل تجوز الصلاة فيه؟