Adeiladwyd Castell Pencelli tua 1080 O.C. Yn sgil gwrthdaro, newidiodd ddwylo sawl gwaith erbyn y 14g. Y preswyliwr brenhinol olaf oedd Gwladus Ddu, Tywysoges Gogledd Cymru, 1205-1251 O.C. a fu farw yng Nghastell Windsor. Merch Llywelyn Fawr, Tywysog Cymru, oedd hi, ac wyres i’r Brenin John, Brenin Lloegr ar ochr ei mam. Yn 1215 O.C., priododd berchennog Castell Pencelli, Reginald de Braose. Roedd ganddo fab eisoes, o briodas flaenorol, sef William. Pan fu farw Reginald, priododd â Ralph Mortimer o Gastell Wigmore, Swydd Henffordd, a ganwyd mab iddynt, Roger, a etifeddodd Arglwyddiaethau Cestyll Pencelli ac Aberhonddu a miloedd o erwau o dir a’r hawl i gasglu trethi oddi fewn i’r ardaloedd hyn. Achosodd hyn i William de Braose wylltio, ac ymosododd ar y castell, yn aflwyddiannus, ond achosodd lawer o ddifrod i’r adeiladau. Adnewyddwyd y castell, ac i setlo’r anghydfod cytunodd Roger briodi Maud de Braose, sef merch William, gan felly ddod â chyfoeth yn ôl i deulu’r de Braose.

Roedd Roger de Mortimer yn farchog enwog ac anrhydeddus a chyfaill agos i Harri III. Ymladdodd ochr yn ochr ag e ym Mrwydr Evesham yn erbyn Simon de Montfort - a’i ladd, cyn torri ei ben a’i ddanfon adref fel anrheg i’w wraig, Y Fonesig Maud de Mortimer.

Gan nad oedd y castell wedi ei adeiladu ar ben bryn serth, roedd yn hawdd ymosod arno, a phan ddefnyddiwyd powdr gwn yn eang nid oedd yn bosib gwarchod y cadarnle. Roedd y castell, a adeiladwyd o gwmpas 1080 O.C. wedi newid dwylo sawl gwaith yn dilyn gwrthdaro. Roedd mewn cyflwr gwael yn barod, a nawr nid oedd yn cael ei ddefnyddio o gwbl.

Mae’r parc carafán a gwersylla yn sefyll oddi fewn i, ac o gwmpas y ffos amddiffynnol, gyda rhan ohono wedi cael ei ddefnyddio wrth adeiladu’r gamlas. Mae Y Deri a'r Ddôl, safle sawl brwydr waedlyd, siŵr o fod, erbyn hyn wedi eu hamgylchynu gan goed aeddfed, nifer ohonynt yn pontio nifer o ganrifoedd. Mae Y Berllan oddi fewn i ble fyddai waliau’r castell wedi bod.