قال السمعاني: كان شيخًا عفيفًا زاهدًا منقطعًا إلى الله، ثقةً فهمًا، لا يظهر إلَّا يوم الجمعة. سمعت عبد الوهاب الأنماطي يقول: كان أبو طاهر الباقلاني أكثر معرفةً من أبي الفضل بن خيرون، وكان زاهدًا، حسن الطريقة، ما حدث في الجامع، وكان يقول لنا: أنا بحكمكم إلَّا يوم الجمعة، فإنه للتكبير والتلاوة، وكتبوا أسماء شيوخ بغداد لنظام الملك، وألحوا على أبي طاهر، فما أجاب إلى المجيء إليه. توفي في ربيع الآخر وتسع وثمانين وأربع مائة.