ويبدو أن زاوية ابن عزوز في «نفطة» كانت فرعًا من الزوايا الكبرى في «طولقة»، و«البرج»، والتي تنتسب إلى الطريقة الرحمانية .. وكانت زاوية طولقة تعرف عندنا بالزاوية العثمانية، وبزاوية (سيدي علي بن عمر)، وقد ملأت شهرتها آفاق العالم الإسلامي، وذلك لما جمعته من علم وعلماء، وطلاب ومريدين، وكرم وزهد، وتقى، بالإضافة إلى مكتبتها العامرة.
وفي هذا الجو العائلي، المفعم بالعبادة، وحب العلم، وبالجلال والهيبة والوفاء، ولد الشيخ الخضر بـ «نفطة» سنة ١٨٧٣ م، داخل أسرة متمكنة من تعاليم الشريعة الإسلامية، مستنيرة بآدابها، متمسكة بتقاليدها وأعرافها السامية، حيث كان جده لأمه الشيخ مصطفى بن عزوز يشغل مكانة القطب فقهًا وتدينًا، ويعتبر شيخًا وزعيمًا كبيرًا بين أتباعه ومريديه، وكانت والدته بنت الشيخ ابن عزوز على جانب كبير من الثقافة والتعليم وقوة الشخصية، وكان خاله الشيخ محمد المكي بن عزوز عالمًا جليلًا، متبحرًا في أصول الشريعة واللغة والآداب، وكان والده الشيخ الحسين بن علي بن عمر فقيهًا تقيًا زاهدًا، وقد توفي وكان ولده الشيخ الخضر ما زال صغيرًا.
في هذا الجو العائلي المهيب قضى الشيخ الخضر بن الحسين طفولته الأولى؛ حيث حفظ القرآن الكريم برعاية مؤدبه الخاص الشيخ (اللموشي)، وأخذ مبادئ بعض العلوم الفقهية واللغوية والأدبية على عدد من العلماء في زاوية جدّه، وكان في مقدمتهم الشيخ محمد المكي خال الشيخ الخضر، والذي أحب ابن أخته حبًا عميقًا، وتوسّم فيه مستقبلًا زاهرًا، فمنحه عناية كبرى،
١٤/ ١ / ١٧٩