রায়েরকাঠি ঐতিহ্য বাহী জমিদার বাড়ি কারণ,২০০ টা ঘর ছিল এইবাড়িতে জমিদারাজবাড়ি ।
ভাটিয়ালের রাজা রুদ্র নারায়ণ রায় চৌধুরী সাত তিন শ বছরেরও বেশি সময় আগে পিরোজপুরের রায়েরকাঠিতে অপূর্ব নির্মাণশৈলীর এ প্রাসাদ ও মন্দির প্রতিষ্ঠা করেছিলেন। বৃহত্তর বরিশাল অঞ্চলের অন্যতম পুরাকীর্তি ও ঐতিহাসিক এই স্থাপনা এখন রায়েরকাঠি রাজবাড়ি বা জমিদার বাড়ি নামে পরিচিত।সেই সময়ে ২০০ একর জমি নিয়ে , বাড়িতে নির্মাণ করা হয়েছিল। ছোট-বড় মিলিয়ে প্রায় ২০০টি ঘরছিল। তবে চরম অবহেলা ও সংরক্ষণের কোনো না হওয়ায়ঐতিহাসিক এই রাজবাড়ির পুরাকীর্তিগুলো এখন ধ্বংস হতে পথে।
বাড়িটির প্রধান দরজা, রাজাদের বসবাসের প্রাসাদ, কাচারি, অতিথিশালা, নাট্যশালা, জলসাঘর, অন্ধকূপ সবকিছুই ধ্বংসের হতে পথে।
পিরোজপুর জেলার ইতিহাস বলে, আকবরের রাজত্বকালে যুবরাজ সেলিম বিদ্রোহ ঘোষণা করে বাংলায় চলে আসেন। তিনি ঝালকাঠি, পিরোজপুর ও বাগেরহাট জেলার কিছু অংশ নিয়ে একটি পরগনা সৃষ্টি করেন। নিজের নামে পরগনার নাম রাখেন সেলিমাবাদ।
১৬১৮ সালে সেলিমাবাদ পরগনার রাজস্ব আদায়ের দায়িত্ব পেয়েছিলেন মদন মোহন। ১৬২৮ সালে মদন মোহন তার ছেলে শ্রীনাথের নামে সেলিমাবাদ পরগনার কিছু জমি নেন। শ্রীনাথ ঝালকাঠির লুৎফাবাদ গ্রামে কাচারি স্থাপন করে সেখানেই বসবাস করতেন। শ্রীনাথকে রাজা উপাধি দেন মোগল সম্রাট।
১৬৫৮ সালে রাজা শ্রীনাথ রায়ের ছেলে রুদ্র নারায়ণ রায় চৌধুরী পিরোজপুরের এখানে বসবাস শুরু করেন। পরে সেখানে তিনি জঙ্গল পরিষ্কার করে রাজবাড়ি ও মন্দির প্রতিষ্ঠা করেন। বন-জঙ্গল কেটে পরিষ্কার করে রাজ্য প্রতিষ্ঠা করা হয় বলেই এর নামকরণ হয়ছিল রায়েরকাঠি।