Història: la primera referència d’aquest castell data de l’any 1040, dins el terme del castell de Guissona. Al segle XIII tenim notícia de la nissaga dels Despallargues, vinculada als hospitalers de Cervera. Al segle XIV i XV el trobem dins els dominis dels Concha Bella i al XVI dels Argençola. Al segle XVII s’adscriu a la vegueria reial d’Agramunt.
A finals del segle XIX va ser venut a la família Rovira, actuals propietaris i habitants del lloc i responsables de l’intensa i extensa tasca restauradora de l’edifici que permet gaudir-ne avui.
Descripció: el castell de les Pallargues, d’immenses proporcions, pertany al tipus de castell-palau.
La seva planta irregular, formada per tres volums afilerats, revela que la seva construcció ha passat per tres etapes: dins el romànic es construeix una torre circular; durant el gòtic, la torre es fortifica amb una estructura de planta rectangular; i, a partir del segle XVI, la fortalesa perd els seus elements guerrers i adopta l’aspecte de castell-palau renaixentista.
La façana principal està presidida per l’arc apuntat de majors dimensions del gòtic civil català i remata la façana al cantó esquerre per una garita d’angle.
A l’interior, trobem la planta baixa, on es troben situades les dependències destinades als serveis i la presó. Una gran escala de pedra puja a la planta noble, amb gran sala capitular flanquejada per les habitacions i la capella de Sant Miquel. En la part posterior hi trobem els fonaments de l’antiga torre del segle XI.
Avui el castell de les Pallargues és una de les principals fortaleses visitables integrades dins la Ruta dels Castells del Sió.