কথিত আছে, ১৮০০ খ্রিস্টাব্দের শেষ দিকে বেশ কিছু ফকির ঈশ্বরের বাণী প্রচারে ও মানুষের কল্যাণে বিভিন্ন এলাকায় ঘুরে বেড়াতেন। তেমনই একজন হলেন সৈয়দ পাহাড়ি শাহ ওরফে দানবাবা। শোনা যায় পানাগড়ের এলাকায় এলাকায় তিনি ঘুরতেন এবং মানুষের কাছে ঈশ্বরের বাণী প্রচার করতেন। দিনের শেষে কাঁকসায় বর্তমানে যেখানে দানবাবা মাজার আছে সেখানেই তিনি রাত্রি যাপন করতেন।
শোনা যায় বহু মানুষ তাঁর কাছে ভিড় জমাতেন তাঁর আশীর্বাদ পাওয়ার জন্য। জনশ্রুতি আছে, এলাকার কোন এক ব্যক্তি দানবাবার কাছে আসেন এবং তাঁর কষ্টের কথা জানান। সঙ্গে তার দুরারোগ্য ব্যাধির কথাও জানান। বাবা তাঁর কষ্টের নিবারণ করেন। তারপর থেকেই বাবার প্রতি এলাকার মানুষের ভক্তি শ্রদ্ধা বেড়ে যায়। একই সাথে ক্রমশ এলাকার মানুষ নিজেদের সমস্যার কথা নিয়ে আসতে থাকেন তাঁর কাছে। এলাকার মানুষজন জানান, বাবা কাউকে ফেরাতেন না। ভক্তরা তাঁকে যা কিছু দিতেন সবই তিনি দান করে দিতেন। যার কারণে তাঁর নাম হয় দানবাবা।
পরে ১৯৬০ সালে তিনি দেহ রাখলে এলাকার মানুষ ওই জায়গায় তাঁকে সমাধিস্ত করেন। পরে সেই সমাধি ঘিরে ধীরে ধীরে ভক্তদের ভিড় বাড়তে থাকে এবং ওই জায়গায় মেলা বসতে শুরু করে। যা আজ বিশাল আকার ধারণ করেছে। এলাকার মানুষ মনে করেন, তিনি আজও জীবিত আছেন। এবং এলাকার মানুষের কল্যাণ করে চলেছেন। তাই আজও নিয়ম করে গোলাপ জল, নকুল দানা, সুগন্ধি ধুপ দেওয়া হয় তাঁর উদ্দেশ্যে। এলাকার মানুষ বলেন, কারও কোন সমস্যা থাকলে বাবার পছন্দের ওই সব জিনিস নিয়ে বাবার কাছে মানত করেন। পরে ফল পেলে বাবার সমাধিতে নতুন চাদর দেন। প্রতি বছর মার্চ মাসে বাবার সমাধিস্থলের পাশে মেলা বসে। আটদিন ধরে ধুমধাম করে হয় উৎসব। শুধু পানাগড়ের মানুষই নয়, রাজ্য ছাড়িয়ে ভিন রাজ্য থেকেও ভক্তরা ভিড় জমান এখানে। মেলা কমিটির সদস্যরা বলেন, মেলা মানে একটা মিলনস্থল। এই মেলায় শুধু ইসলাম ধর্মের মানুষই নন, এখানে সব ধর্মের মানুষ আসেন। তাঁরা বাবার কাছে মানত করেন। আর এই ভাবেই প্রায় ছয় দশকের বেশি সময় ধরে হয়ে আসছে এই মেলা। দানবাবার মেলা ঘিরে এক সম্প্রীতির বাতাবরণ তৈরি হয়।