Nei  villaggi tradizionali Le case sono costruite con tetti alti piramidali a forma di tetto troncato, fatti secondo la tradizione, per facilitare l’ingresso dei spiriti degli antenati affinché diano benevolenza ai discendenti.

Le capanne  sono costituiti da abitazioni su palafitte disposte in due file parallele che si fronteggiano attorno ad una piazza centrale dove si trovano i Kateda, strutture in pietra preposte alle offerte da destinare agli spiriti.

Nel villaggio di Wunga molte delle case sono di legno lavorato e abilmente scolpito; i quattro pali che sostengono la casa sono associati ai rituali del culto degli antenati, il palo anteriore destro è riservato alle offerte, dove il rato effettua i suoi rituali della divinazione invocando gli spiriti, il palo anteriore sinistro rappresenta gli antenati femminili, mentre le due colonne posteriori simboleggiano gli antenati maschili e gli spiriti della fertilità. 
La tradizione animista e la cultura dei megaliti è stata fonte di molteplici studi: uno dei più interessanti di Robert von Heine Geldern, dell’Università di Boston, sostiene che sono il simbolo del collegamento tra la vita e la morte; la costruzione dei monumenti in pietra simboleggia la protezione dell’anima durante il viaggio verso il mondo dell’invisibile. 
Nonostante molte teorie sostengano di un collegamento tra i megaliti europei dell’età del bronzo e i megaliti di Sumba, in realtà non vi è prova alcuna in quanto si riferiscono a periodi storici diversi.

Le piazze dei villaggi contengono anche le tombe degli antenati più importati, ed in alcuni è possibile trovare ancora oggi gli andung, ovvero gli alberi secchi dove un tempo venivano esposte le teste tagliate dei nemici uccisi. Degna di nota è la tradizione tessile degli abitanti: gli Ikat prodotti sull’isola sono infatti considerati i più belli e ricercati del paese. Come per la regione dei Toraja, anche qui le cerimonie funebri hanno particolare rilievo, caratterizzate da sacrifici di animali e dalla costruzione di grandi tombe in pietra che a volte necessitano centinaia di abitanti per essere trasportate.

Anche le case di nuova costruzione mantengono intatti i criteri costruttivi della tradizione: il tetto a piramide per facilitare la comunicazione con gli antenati in cielo.