هل يحرم الكلام على من خارج المسجد أثناء خطبة الجمعة ؟

السؤال: هل إذا رقا الإمام على المنبر يحرم الكلام على من بداخل المسجد فقط، أم التحريم لمن بداخل المسجد وخارج المسجد ؟