প্রাচীন স্থাপত্যকলার নিদর্শন রূপে এই মসজিদটিকে যেভাবে সংরক্ষণ এবং স্থাপত্যকলার রীতিনীতি মেনে সংস্কার বা পুনর্নির্মাণ দরকার, সে রকম হয়নি বলে অনেকে মনে করেন। এতে এরই মাঝে মসজিদটির পুরোনো সৌন্দর্যের অনেকখানি নষ্ট হয়ে গেছে।
গয়ঘর গ্রামের মানিক মিয়া জানিয়েছেন, মসজিদে মানুষের জায়গা হয় না। এ কারণে মসজিদটির পুরোনো ভবন ঠিক রেখে দুই দিকে জায়গা বাড়ানো হয়েছে। মসজিদের দক্ষিণ দিকে একটি বড় দিঘি ছিল। এখন ছোট পুকুরের মতো আছে, বাকি অংশ ভরাট হয়ে গেছে।
স্থানীয় লোকজন জানিয়েছেন, মসজিদের বাইরে দুটি বড় কৃষ্ণপাথর (অথবা কষ্টিপাথর) ছিল। লোকমুখে প্রচার আছে, এ পাথর দুটো রাতের অন্ধকারে মসজিদ প্রাঙ্গণে ঘোরাফেরা করত। মানুষ পাথর দুটিকে জীবন্ত মনে করতেন। এই পাথর মুছে অনেকে বুকে-মুখে লাগাতেন। পাথর ধোয়া পানি খেতেন। প্রচলিত আছে, পাথরের ওজন নিয়ে তাচ্ছিল্য করলে সেই পাথর কেউ তুলতে পারতেন না। পাথর অনেক ভারী হয়ে যেত। এই পাথরগুলো এখন নেই। একটি পাথর ‘মারা গেলে’ দক্ষিণ পাশের দিঘিতে ফেলে দেওয়া হয়েছে। অপরটি ১৯৯০ সালের দিকে চুরি হয়ে গেছে। অনেকে খোজার মসজিদকে গায়েবি মসজিদ বলে থাকেন। সব ধর্মের মানুষ গাছের নারকেল, পেঁপে, পোষা মোরগসহ নানা মানস, শিরনি নিয়ে মসজিদে আসেন। নগদ টাকা দান করেন।
গয়ঘর ঐতিহাসিক খোজার মসজিদের মোতোয়ালি জহুর মিয়া গত বুধবার আসরের নামাজ শেষে মসজিদেই অবস্থান করছিলেন। তিনি জানিয়েছেন, মসজিদে প্রতিদিন পাঁচ ওয়াক্ত এবং শুক্রবারে জুমার নামাজ হয়ে থাকে। শুক্রবার পাঁচ থেকে ছয় শ মানুষ আসেন। অনেক দূর থেকেও এই মসজিদে মানুষ নামাজ পড়তে আসেন। মসজিদ দেখতেও অনেকে আসেন।
