Il castello di Raby venne costruito fra il 1367 e il 1390 da John Neville, III barone Neville di Raby e qui nacque sua nipote Cecily Neville, futura madre di Edoardo IV d'Inghilterra e di Riccardo III d'Inghilterra, il 3 maggio 1415. Dopo la fallita Rivolta dei papisti a vantaggio di Maria Stuarda nel 1569 cui prese parte anche Charles Neville, VI conte di Westmorland (18 agosto 1542-16 novembre 1601) il castello finì sotto la custodia reale. Nel 1626 Henry Vane acquistò il castello di Raby insieme al vicino Castello di Barnard dalla corona aggiungendo un ingresso in stile gotico ed una sala per ricevimenti ottagonale. Altri cambiamenti evidenti furono portati avanti nel XVII e XVIII secolo, attualmente il castello è l'abitazione di John Vane, XI barone Barnard (21 settembre 1923). Il castello è noto sia per la sua ampiezza che per le opere d'arte, infatti vi sono ospitati lavori di molti artisti famosi. Il castello è un Monumento classificato ed è aperto secondo un calendario stagionale.
La famiglia Neville deteneva il castello di Raby fin dal XIII secolo ed anche se non avevano alcun titolo formale nel parlamento del 1295 vennero chiamati a presenziarvi in qualità di baroni di Raby. Ad attendervi fu chiamato Ralph Neville, I barone di Raby (18 ottobre 1262 o 1270-18 aprile 1331). Il suo erede John Neville (1299 o 1300-1331) entrò a far parte della corte di Tommaso Plantageneto dando il via al legame che per secoli avrebbe unito i Neville alla Casa di Lancaster. Raby finì per diventare il centro di potere e residenza della famiglia Neville ed è probabile che attorno al 1300 sul sito dell'attuale castello fosse stata costruita una qualche sorta di casa fortificata. Nella seconda metà del XIV secolo i Neville iniziarono a rimaneggiare molte delle loro proprietà dell'Inghilterra del nord ed anche a Raby iniziarono i lavori, approssimativamente fra il 1367 e il 1390. Sul volgere del secolo i Neville erano divenuti una famiglia fra le più potenti del nord al pari dei Percy che nel 1377 erano divenuti conti di Northumberland. Nel 1378 Thomas Hatfield (morto 1381) Vescovo di Durham diede a John Neville, III barone Neville di Raby (1337 circa-17 ottobre 1388) il permesso di fortificare le sue proprietà a Raby. A John succedette il figlio Ralph Neville tuttavia non è sopravvissuto quasi nulla dei documenti relativi a quel periodo e di come o quali lavori siano stati fatti in quegli anni si sa molto poco e quel che si sa lo si evince dai dettagli architettonici. Nel 1397 Ralph venne creato Conte di Westmorland da Riccardo II d'Inghilterra quale segno di riconoscenza per la lealtà mostrata in quegli anni tormentati, tuttavia i legami che legavano i Neville ai Lancaster fecero sì che quando Enrico di Bolingbroke invase l'Inghilterra nel 1399 usurpando il trono al cugino e divenendo Enrico IV d'Inghilterra i Neville si schierassero con lui, tanto che Ralph fu fra coloro che convinsero Riccardo ad abdicare. Come ricompensa il giorno dell'incoronazione di Enrico, il 30 settembre 1399, Ralph venne creato Conte maresciallo di Inghilterra e nel 1403 ricevette l'Ordine della Giarrettiera. Nell'agosto 1564 morì Henry Neville, V conte di Westmorland cui successe il figlio Charles Neville, VI conte di Westmorland, i Neville erano sempre stati cattolici e per questo nel 1569 presero parte alla Rivolta dei papisti contro la protestante Elisabetta I d'Inghilterra e a favore della cattolica Maria Stuarda. L'imponenza della rivolta fece usare il pugno duro alla corona, circa 800 ribelli furono uccisi e Charles insieme a Thomas Percy, VII conte di Northumberland dovettero andare in esilio. Nel 1571 tutte le terre dei Neville vennero prese dalla corona. Raby rimase nelle mani della corona per circa 34 anni prima di venire comprato da Henry Vane, egli fu impressionato dalla grandezza delle terre che lo circondavano in contrasto con il castello di Barnard circondato dal villaggio in cui sorgeva. I Vane sono i responsabili di tutti i lavori di ammodernamento del castello specialmente di quelli interni fra cui si annoverano la ristrutturazione della cappella medievale e della sala dei ricevimenti. L'architetto William Burn (20 dicembre 1879-15 febbraio 1870) fece numerosi lavori fra il 1843 e il 1848 incluse le nuove fondamenta alla Great Hall e alla cappella e all'aggiunta di un nuovo salotto in una delle torri secondo lo stile dell'Architettura giacobiana. La famiglia è anche responsabile della grande collezione di opere d'arte che ospita il castello. Quando il 17 marzo 1849 Guglielmo III dei Paesi Bassi salì al trono era ospite del castello di Raby. Quando nel 1891 Harry Powlett, IV duca di Cleveland morì senza eredi non era chiaro a chi dovessero andare titoli e castello, alla fine intervenne il Committee of Privileges della Camera dei lord che designarono erede Henry Vane che divenne il IX barone di Barnard, il titolo di Duca di Cleveland andò invece estinto. Il castello apre al pubblico da maggio a settembre e a Pasqua.
Il castello ha una pianta irregolare con nove torri disseminate nel perimetro. L'entrata principale è sul lato ovest ed aveva un Ponte levatoio che ora è stato sostituito da uno stradello lastricato. Originariamente il ponte aveva anche delle saracinesche come mostrato dalle scanalature ancora visibili. Le due torri laterali al corpo di guardia non avevano funzione difensiva e vennero aggiunte da Henry Vane, II conte di Darlington. Il castello è anche famoso per le opere d'arte che contiene collezionate per lo più dai Vane. Fra gli artisti ospitati vi sono Luca Giordano, Antoon van Dyck e Joshua Reynolds. Il salotto piccolo ha una collezione di dipinti a tema sportivo, che riflettono gli interessi della famiglia, mentre nella libreria si trovano dei capricci di cui uno ad opera di Antonio Joli. Si contano anche diversi ritratti fra cui alcuni ad opera di Peter Lely e Pompeo Batoni oltre ad opere di Pieter de Hooch e David Teniers il Giovane. Fra gli artisti ospitati vi sono:
