آپ کا قبیلہ الخم سے نسبتی تعلق تھا، اس لیے لخمی کہلاتے تھے، لخم دراصل یمن کا ایک قبیلہ ہے، اس کی ایک شاخ شام میں آباد ہو گئی تھی۔ امام صاحب کے والد بزرگوار کو علم و فن سے بڑی دلچسپی تھی، اس لیے وہ اپنے فرزند کو بھی علم کی تحصیل و تکمیل کی تلقین کرتے رہتے تھے۔