وكان شيخ أبي يزيد فى التصوف صوفيًا جاهلا باللغة العربية اسمه أبو على السندى، لم يجد أبو يزيد بدًا من أن يلقنه من آيات القرآن ما يقيم به فرضه، وجازاه السندى على ذلك بإرشاده إلى التوحيد، ولا نستبعد كل الاستبعاد أن تكون بعض مؤثرات هندية قد أثرت فى أبى يزيد عن طريق شيخه هذا.
وقد كان أبو يزيد -على خلاف المتصوفين المتأخرين أبى إسحق الكازرونى وأبى سعيد بن أبى الخير- منطويًا على نفسه كل الانطواء، فلم يقم مثلهم بخدمة الفقراء، ولكنه كان مستعدًا لأن يخلص الناس من النار بأن يتحمل من أجلهم العذاب، بل لقد مضى إلى حد أن يجد من الأقوال ما ينقد عذاب جهنم الذى أعد لمن حلت بهم النقمة وهم ليسوا آخر الأمر إلا قبضة من تراب.
وكان شعوره بجلال الله يملأ شعاب نفسه مقترنًا بشعور من الخشوع والخشية لله حتى ليحس فى حضرته بأنه زنديق يكاد يهم بإلقاء زنار المجوس، وكان شوقه ينصرف إلى مجاهدة نفسه مجاهدة دائبة (أو على حد تعبيره "أنا حداد نفسى) حتى يحررها من جميع الحجب التى تحول بينه وبين الوصول إلى الله. وهو يصف هذه المجاهدة وصفا ممتعًا جدًا
٢ / ٤٣٢