การที่ต้องเจรจากันนานหลายปีกว่าจะเช่าได้ ก็เพราะ ประการแรก มีบ้านข้าราชการผู้ใหญ่อยู่ในที่นั้น ประการที่สองมีสมาคมนักเรียนเก่าภาคพื้นยุโรป อยู่ข้างหน้าตอนออกถนนสีลม และประการที่สามเราต่อรองเพื่อให้ได้เสียค่าเช่าถูก นอกจากนั้นเมื่อสมาชิกทราบว่าจะย้ายไปอยู่ศาลาแดง ก็แสดงความไม่พอใจ บ่นว่ามันไกลเกินไป นี่ก็เป็นความจริง เมื่อเราอยู่ที่ไหนจนชินเสียแล้ว ที่อื่นซึ่งเราไม่ค่อยได้ไป เราไม่ชินก็เป็นที่ห่างไกลสำหรับเรา แต่พอเราไปบ่อย ๆ เข้าจนชิน เราจึงรู้สึกว่ามันไม่ไกลเลย

     เมื่อเช่าได้แล้ว เราต้องทำการซ่อมแซมเป็นการใหญ่ เพราะบ้านศาลาแดงทรุดโทรมมาก ต้องเสียเงินมากมายหลายหมื่นในการซ่อม ในการซ่อมแซมนี้ ทันตแพทยสมาคมและเภสัชกรรมสมาคม ได้มีส่วนช่วยด้วย ฉะนั้นเมื่อซ่อมเสร็จแล้ว ทั้งสามสมาคมจึงมาอยู่ร่วมกัน แพทยสมาคมฯ ได้ย้ายมาอยู่บ้านศาลาแดงเมื่อวันที่ 4 พฤษภาคม 2491 ในสมัยนายแพทย์เฉลิม พรมมาส เป็นนายก

     ต่อมาใน พ.ศ. 2492 สมาคมนางพยาบาลได้ขอเข้ามาอยู่ร่วมด้วย จึงเป็นอันว่าบ้านศาลาแดงนี้ เป็นสถานที่ของ 4 สมาคม คือ แพทย์ ทันตแพทย์ เภสัชกรรม และพยาบาล และใช้อักษรย่อว่า พ.ท.ภ.พบ.

     บ้านศาลาแดงมีตึกใหญ่ และมีอาณาบริเวณมากกว่า 8 ไร่ สมาคมได้จัดให้บ้านไม้หลังหนึ่งซึ่งอยู่ใกล้กับตึกใหญ่ให้เป็นส่วนของสโมสร (ซึ่งได้ลดตำแหน่งลงมาเป็นส่วนหนึ่งของแพทยสมาคมฯ มีโต๊ะบิลเลียด 2 โต๊ะ และมีโต๊ะสำหรับเล่นไพ่บริดจ์อีกหลายโต๊ะ ถัดออกไปหน่อยทางข้างหลังเป็นสนามเทนนิส มีอยู่ 3 สนาม (คอร์ต) นอกจากนั้นยังมีที่ว่างเป็นสนามหญ้าอยู่ข้างหน้า และมีเรือนพักอยู่ข้าง ๆ สรุปแล้วสถานที่ใหม่นี้ดีกว่าเก่ามาก แรก ๆ ก็มีสมาชิกไปใช้สโมสรน้อย แต่อยู่ไป ๆ ก็มากขึ้นทุกที แม้ผู้ที่บ่นว่าไกลก็ยังไป

     หลังจากที่สี่สมาคมได้อยู่ร่วมกันมาเป็นเวลานาน พอต้น พ.ศ.2509 สำนักงานทรัพย์สินส่วนพระมหากษัตริย์ก็มีหนังสือแจ้งมาบอกเลิกสัญญาเช่า อ้างว่าจะปรับปรุงที่ดินบริเวณศาลาแดงให้เป็นศูนย์การค้าที่ทันสมัยและจะให้เงินแก่แพทยสมาคมฯ 2.5 ล้านบาทเป็นค่าชดเชย จากการต่อรองขอความเห็นอกเห็นใจ ในที่สุดก็ได้รับเงินมา 5 ล้านบาท และได้แบ่งให้อีกสามสมาคมไปครึ่งหนึ่ง เงินที่เหลือ 2.5 ล้านบาทได้นำไปซื้อที่ดินของบริษัทเคหพัฒนาที่ซอยศูนย์วิจัย ห่างจากถนนเพชรบุรีตัดใหม่ประมาณ 300 เมตร ได้เนื้อที่ 3 ไร่ 2 งาน 92 ตารางวา กับได้ที่ดินถนนทางเข้าสมาคมอีกประมาณ 45 ตารางวา แล้วได้ลงมือก่อสร้างอาคารในเดือนพฤษภาคม 2510 โดยบริษัทชลิตและสหายรับเหมาก่อสร้าง เป็นเงินประมาณ 1.3 ล้านบาท ต่อมาภายหลังได้ติดตั้งเครื่องปรับอากาศที่ห้องประชุมชั้นบนของอาคาร และต่อเติมอย่างอื่น ๆ อีกหลายอย่าง ค่าใช้จ่ายเหล่านี้ได้จากการบอกบุญแก่สมาชิกและท่านผู้มีจิตศรัทธาทั้งหลาย