এক সময় রাজা রামমোহন রায়, বিদ্যাসাগর এঁদের যাতায়াত ছিল এই রাজবাড়িতে। পরবর্তীতে উত্তমকুমারের সিনেমাতেও উঠে এসেছে এই জমিদার বাড়ির কথা।