Lungo il tracciato tra Gravina e Spinazzola, a 3 km da Poggiorsini, sorgeva il Castello del Garagnone. Il rinvenimento di iscrizioni d’età romana sembrano avallare l’ipotesi che il Garagnone insista sul luogo di fondazione dell’antica Silvium, città peuceta citata da Strabone, da Diodoro Siculo, da Livio, oltre che da vari itinerari antichi, come centro importante, conquistato dai Romani nel 250 a.C. Proprio ai piedi della rocca doveva passare la via Appia. Ma solo a partire dal XII secolo la storia del Garagnone incomincia a delinearsi con chiarezza. Nel 1129 compare per la prima volta in alcuni documenti il nome di Rogerius Varannone, feudatario di Terlizzi. Nel 1197 il castello viene donato ai Frati di San Giovanni Gerosolimitano di Barletta che lo conserveranno fino alla metà del XIV secolo. In più occasioni il Garagnone è citato come castello di Federico II. In particolare il castrum compare in un elenco di castelli e domus imperiali federiciani (lo Statum de reparatione catrorum del 1241-1246). Dopo la morte di Federico II di Svevia, anche gli Angioini prestarono particolare cura al Garagnone. L’importanza del castello derivava soprattutto dalla sua posizione privilegiata che insieme ai Castelli di Monte Serico e di Palazzo San Gervasio formava un sistema efficace di controllo e di difesa proprio ai confini della Lucania. Funzione militare quindi ma non solo. Il castello e il casale sono presenti in cronache che indicavano anche l'importanza produttiva del luogo, nonché fu un importante possedimento dei Grimaldi Principi di Monaco Marchesi di Campagna dal 1532 al 1641. Le notizia permettono di seguire le vicende del feudo almeno fino 1731 quando il castello venne distrutto da un violento terremoto.Il borgo antico di Poggiorsini ha origini che risalgono alla seconda metà del XV secolo, quando inizia a prendere forma il Casale di Macchia Vetrana. Tale insediamento si poneva in relazione con una serie di strutture rurali sparse sul territorio circostante, in particolare a nord con la Fontana D'Ogna e a sud con la grande masseria per pecore Capoposta e con il torrente Roviniero. Il duca Michele Orsini, come risulta da un documento del 1686, fece costruire il casale che funse da catalizzatore di pastori e braccianti in cerca di occupazione o di altre dimore. Una serie di addendi rurali trasformarono l'insediamento in un borgo rurale di una certa consistenza, oltre che di controllo e di presidio delle vie di comunicazione più importanti. Tra il 1723 e il 1727 furono costruiti il Palazzo Ducale e la nuova chiesa parrocchiale sempre per volere di un Orsini, Filippo Bernoaldo I, nipote del papa gravinese Benedetto XIII. Da quel momento, intorno al palazzo, sorsero varie costruzioni più modeste. Abbandonato nel 1907 dagli Orsini, il palazzo divenne proprietà del Comune di Gravina nel 1917, ospitando i pochi servizi pubblici esistenti (scuola elementare, caserma dei Carabinieri, l'ufficio postale e quello dello Stato Civile, nonché la residenza del medico condotto). Nel 1930 il terremoto del Vulture compromise seriamente una parte consistente della struttura che verrà demolita nel 1934. Quello che resta dell'antico casale, del palazzo Ducale e della chiesa, ormai sconsacrata, di Santa Maria dei Sette Dolori è oggi in stato di abbandono nonostante alcuni lavori di restauro già eseguiti dalla Soprintendenza. La chiesa di Maria Santissima Addolorata fu costruita, a tre navate, subito dopo il terremoto del 1930, tra il 1933 e il 1937, e consacrata nel 1988. All'interno si conserva un pulpito ligneo realizzato da Vito Tritto di Acquaviva; dietro il fonte battesimale vi è una tela di datazione incerta con l'immagine di Sant'Antonio. Nella navata di sinistra è collocata una pregevole Deposizione settecentesca di Leonardo Antonio Olivieri.