انتساب الشخص لجده دون أبيه

السؤال:

مر علينا في بعض الدروس أن من انتمى إلى غير أبيه فهو مذموم، فما رأيك فيمن ينتمي إلى جده من قبل أبيه، ومع أن بعض الناس يستحقر أباه؛ لأن جده أشهر من أبيه؟