Rumah adat Besemah dikenal sebagai Rumah Baghi. Tipe rumah ini terbagi atas dua, yaitu tatahan dan ghilapan. Yang dimaksud dengan tatahan adalah bagian-bagian rumah –terutama dinding dan pembentuknya—ditatah atau diukir. Sedangkan ghilapan, berdinding polos.

Baik rumah tatahan maupun ghilapan berukuran sama, yaitu 8 x 8 meter. Bagian dalam rumah lempeng tanpa ruang dan sekat. Sekiranya ada pembatas ruang –dinamakan sengkar—diperuntukkan sebagai pembatas ruang dengan ruang penyimpanan alat dapur, alat pertukangan, dan alat pertanian. Sebagian rumah, sesuai kebutuhan dan perkembangan zaman, kemudian dibuat sekat untuk kamar. Sedangkan bagian dapur, yang disebut pawun, dibangun terpisah.

Konstruksi rumah baghi sangat unik. Untuk menyatukan bagian-bagian rumah, tidak dipergunakan paku. Kalaupun ada bagian yang perlu diikat, digunakan rotan sebagai penguatnya. Demikian pula bagian tiang, yang tidak ditanam ke dalam tanah. Tiang-tiang ini berdiri dengan alas batu. Pada konstruksi lama, digunakan tiga batu per tiang dengan posisi segitiga. Sepanjang sejarahnya –di Pagaralam, terdapat Gunung Dempo—rumah baghi tidak pernah rubuh atau rusak kendati daerah itu sering dilanda gempa bumi.