শান্তিপুর আজ থেকে প্রায় ৪০০ থেকে ৬০০ বছর আগে শুরু হয় এই পূজা। যদিও অনেক দাবি করেন শান্তিপুরে শুরু করেছিলেন সার্বভৌম আগমবাগীশ এই আগমেশ্বরী কালীপুজো। পণ্ডিত কৃষ্ণানন্দ আগমবাগীশের প্রপৌত্র অর্থাৎ নাতির ছেলে ছিলেন সার্বভৌম আগমবাগীশ । তিনি ছিলেন তন্ত্রসাধক। তাঁরা আগমশাস্ত্রে পাণ্ডিত্য লাভ করেছিলেন বলে তাদের আগমবাগীশ উপাধি পেয়েছিলেন।
কারো মতে কৃষ্ণানন্দ আগমবাগীশ দীপান্বিতা অমাবস্যায় একই দিনে কালীমূর্তি গড়ে রাত্রে পূজার্চনা শেষে ভোরে বিসর্জন দিতেন। বর্তমানে এত বড় প্রতিমা এক দিনে গড়া সম্ভব হয় না। এখন কোজাগরী পূর্ণিমার পর কৃষ্ণাপঞ্চমী তিথিতে প্রতিমা নির্মানের কাজ শুরু হয়। একাদশীতে যখন বড় প্রতিমার খড় বাঁধা হয় তখন ছোট ৫ পোয়ার প্রতিমাকে স্থাপন করা হয় বড় প্রতিমার হৃদয়ে। তারপর একমেটে-দোমেটের পর বিগ্রহ রঙ করা হয়। অমাবস্যায় দেবীর চক্ষুদান করা হয়। গভীর রাতে হয় আরাধনা। পরদিন দুপুরে প্রতিমা নিরঞ্জন।
কৃষ্ণানন্দ আগমবাগীশ যদি এই পূজা প্রচলন করেন তবে এটি হলো বাংলার প্রথম কালী পূজা। কারণ সে সময় কোনো মাতৃ মূর্তিতে পুজো করার প্রচলন ছিল না। তন্দ্র মতে অগ্নি শিখাকে কালি রূপ ধরা হতো।কৃষ্ণানন্দ মা কালীর কাছে প্রার্থনা করেছিলেন সাকার রূপে দেখা দেওয়ার জন্য। মা কালী এক রাতে তাঁকে স্বপ্নে দিয়ে বলেন, ভোরবেলা প্রথম যে মহিলাকে তিনি দেখতে পাবেন তিনিই মা কালী। পরের দিন ভোরে কৃষ্ণানন্দ খোলা চুলে এক কালো বর্ণের গোয়ালিনীকে ডান পা সামনে এগিয়ে ও হাত তুলে ঘুঁটে দিতে দেখেন। ঐ রূপ দেখে কৃষ্ণানন্দ দেবীর দেওয়া স্বপ্নের কথা মনে করে তাঁকেই দক্ষিণাকালী রূপে চিনতে পারেন। এই ছবিটিই মানসপটে এঁকে তিনি গঙ্গামাটি দিয়ে মাতৃমূর্তি করেন।
অন্য মতে সে সময় শাক্ত ও বৈষ্ণবদের মধ্যে বিরোধ চলছিল , তাই শান্তিপুরের অদ্বৈতাচার্য্যের নাতি মথুরেশ গোস্বামী এই দুই সম্প্রদায়ের বিবাদ মেটাতে, তাঁর নিজ মেয়ের সাথে বিয়ে দিয়েছিলেন সার্বভৌম আগমবাগীশের। এতে কিছু লাভ না হলে মথুরেশ গোস্বামী তাঁর মেয়ে জামাইকে নিয়ে চলে আসেন শান্তিপুরে। শান্তিপুরে এসে মথুরেশ গোস্বামী বাড়ির কাছে একটি পঞ্চমূণ্ডির আসন স্থাপন করা হয়। সেখানে সার্বভৌম আগমবাগীশ তন্ত্রচর্চার শুরু করেন । শান্তিপুরে সাধনা করে সিদ্ধিলাভ করেন সার্বভৌম আগমবাগীশ। এবং মায়ের নির্দেশে তিনি গঙ্গা থেকে মাটি নিয়ে এসে মূর্তি নির্মাণ করে পুজো করেন। তারপরই মূর্তি বিসর্জন দিয়ে দেন। আজও হয়ে আসছে মা আগমেশ্বরীর পূজায়। বর্তমাণে সেই পঞ্চমূণ্ডির আসন স্থানটি “আগমেশ্বরীতলা” নামেই পরিচিত। এখন ঐতিহ্যের সাথে শান্তিপুরের আগমেশ্বরীর পূজায় হয়।এই প্রাচীণ প্রথা মেন পূজা হয় এখানে। আর সুন্দর পরিবেশে আধ্যাত্মিকতার এক উজ্জ্বলতম প্রকাশ দেখা যায়।
আশ্চর্যের বিষয়, বহু বছর ধরেই মৃৎশিল্পীরা মূর্তির পিছন থেকে দেবীর চোখ এঁকে থাকেন। এ বিষয়ে মৃৎশিল্পীরা জানিয়েছেন, প্রচলিত নিয়মানুসারে মায়ের মুখ না দেখেই চক্ষুদান করে আসছেন তারা। জনশ্রুতি আছে, তন্ত্রমতে না করে বৈষ্ণব মতে পুজো হয় আগমেশ্বরী কালী মায়ের। পুজো ঘিরে মানুষের মধ্যে যথেষ্ট নিষ্ঠা ও ভক্তি রয়েছে। তন্ত্রমতে কারণবারি হল কালীপুজোর অন্যতম উপকরণ, তবে বৈষ্ণব মতে পুজো হওয়ায় এই পুজোতে কারণবারির ব্যবহার নিষিদ্ধ বলে জানা গেছে।