Al menut llogaret de La Torre de Canals diu la tradició que va nàixer, el 31 de desembre de l'any 1378, Alfons de Borja, el papa Calixte III. La darrera restauració de l'Oratori dels Borja ha tret a la llum unes pintures murals d'època barroca que mostren les figures de Sant Vicent Ferrer i de Calixte III xiquet -dibuix de la famosa profecia- i de Sant Francesc de Borja, la qual cosa no fa més que abundar en eixa tradició. L'oratori, algunes restes de l'antic palau i la torre que dona nom al lloc, conformen l'espai borgià del municipi de Canals.
La Torre de Canals s'emplaça al sud-oest del nucli principal de la Vila. La seua part mes antiga la formen tres carrers estrets: Calixte Ill, Forn i Victòria, que s' uneixen en una xicoteta plaça on hi ha l'oratori i la torre que formava part del desaparegut palau dels Borja. Desconnectats antigament, tant el barri com el poble s'han anat ampliant fins a pràcticament integrar-se un en l'altre.
La història de La Torre i dels seus edificis més emblemàtics arranca, almenys, en època medieval islàmica, com així ho demostren les restes ceràmiques aparegudes durant el darrer procés restaurador i que s'hi remunten als segles XI i XII. El nucli d'habitació en aquesta època es limitaria a una petita alqueria rural. A començaments del segle XIII es bastiria la torre i la muralla, amb un caràcter defensiu i de control del territori, davant la inseguretat militar derivada de la imminent conquesta cristiana.
A l'època medieval cristiana corresponen les restes ceràmiques exhumades de ceràmica fina i d'ús comú dels segles XIII al XV, amb peces de Paterna i de Manises, i el bastiment, en el darrer terç del segle XIV, d'un petit palau gòtic de tipus rural adossat a la torre i a la tanca musulmana. Així mateix, s'hi va construir un oratori exempt que acabà a mans de la família Borja.
En aquest indret, per més que manca informació documental, diu la tradició que va nàixer el Papa Calixte III i eixa tradició s'ha mantingut viva en la memòria històrica del poble i ha quedat fixada en algunes manifestacions de l'art i de la cultura popular: durant les festes del barri de Sant Vicent, per exemple, encara hui, traslladen el sant a l'oratori de La Torre tot recordant la profecia vicentina -"...has de ser pontífex de l'església, t'anomenaràs Calixte i m'has de canonitzar."
En el primer terç del segle XVII s'havia restaurat l'arquitectura de l'oratori i entre finals i començaments del XVIII s'hi va abordar la decoració pictòrica dels laterals. La darrera restauració de l'Oratori ha tret a la llum un conjunt de pintures murals de gran valor. Els murals representen les figures de Sant Josep i el Jesuset, Sant Vicent Ferrer amb Calixte III Xiquet i Sant Francesc de Borja, amb inscripcions al lusives en castellà i valencià de l'època. La cronologia del retaule és barroca, amb juxtaposicions d'època neoclàssica realitzades el 1721. En 1758 els jurats de Xàtiva mamprengueren una restauració del palau que afectà fins a les estructures, en ocasions respectant la traça original i d'altres inserint elements de nova planta.
Tot i això, a mitjans del segle XIX, l'Ajuntament de Xàtiva, propietari del palau, novament en estat ruïnós, va vendre l'edifici a un particular. Va ser enderrocat i es van fer cases adossades a la torre que, almenys, contribuïren a conservar-la.
Durant els anys 90 l'Ajuntament de Canals abordà la recuperació de l'entorn borjià. En 1995 es va inaugurar la restauració de la torre, s'obrí la plaça i, en 2001, es restaurà també l'oratori de manera que hui la Torre de Canals ha recuperat un espai d'una enorme rellevància urbanística i històrica.