إذا سلم عليك الشخص والإمام يخطب ومد يده لك

السؤال: إذا سلم عليك الشخص والإمام يخطب ومد يده لك, فهل تصافحه لأنك تجد حرج كبير لو ما سلمت عليه ؟