El castell conserva la torre circular i la part del traçat de muralles. Tot i això, el més destacat del conjunt és l’església fortificada de Santa Maria, un temple gòtic construït entre el 1275 i 1317 que contribuí a millorar-ne el sistema defensiu.
El castell ocupa una carena allargada dins del territori abrupte que hi ha entre l’Alta Segarra, la conca d’Òdena i el pla de Bages. Se’n coneix l’existència des d’almenys mitjan segle XI.
Com és habitual en els castells, presenta un doble recinte: en el superior hi ha una torre de planta circular; en l’inferior, hi ha l’església de Santa Maria. Aquesta església d’origen romànic va ser reconstruïda en època gòtica. Més tard s’hi van afegir elements defensius que en van millorar la protecció pel que fa a l’accés al recinte, del qual es conserven diversos trams de les muralles que el cenyien. En ressaltem l’impressionant retaule de Santa Maria.La resta d’estructures de l’interior han anat sent absorbides o substituïdes pel nucli actual.
Sota el domini dels comtes de Barcelona, el castell de Rubió fou confiat inicialment als Rubió, que n’eren els castlans. Al segle XIV va passar a mans dels Castellolí, seguidament als Timor i els Boixadors. Van ser aquests senyors qui, a finals del segle XIV, van comprar tots els drets a Pere el Cerimoniós, i els van mantenir fins al segle XVIII.
Durant la Guerra Civil Catalana, els Boixadors van mantenir el castell del bàndol del rei Joan II.
