En Puente Genil hay constancia de la existencia de Cofradías penitenciales desde el siglo XVI, siendo la primera que se tenga noticias de su creación la conocida con el nombre de Hermandad de los Azotes que existía en 1593 y según historiadores locales Antonio Aguilar y Cano y Agustín Pérez de Siles el origen de esta Cofradía del Dulce Nombre de Jesús y de 1595 se dice es la de Jesús Nazareno. (El primer libro de Actas de esta Cofradía comienza en 1640 y el día 3 de Agosto de 1664 se funda la Asociación de las Cien Luces, aneja a la Cofradía).

La antigua Cofradía de la Sangre, hoy llamada del Señor Amarrado a la Columna, arranca sus orígenes de mediados del siglo XVI y desde entonces ha tenido su sede en la iglesia de la Vera-Cruz. En 1593 se denominó Hermandad de lo Azotes y posteriormente de la Vera-Cruz, procesionándose siempre el Jueves Santo y siendo de orígenes franciscanos, debido ello a que en esta iglesia estuvo asentado el convento de San Francisco de Asís. Fue llamada Cofradía de los Azotes por las rigurosas disciplinas a que se entregaban sus hermanos durante la estación de penitencia. En 1784 la Cofradía pasó a denominarse de la Columna cambiándose el antiguo Titular, un Cristo Crucificado, por una Imagen del Señor amarrado a la Columna. Hacia finales de la centuria de 1600 y principios de la siguiente la Cofradía Matriz de la Vera-Cruz fue ampliándose con los pasos de Jesús preso, la Santa Cruz y la Santa Cena.

La Cofradía del Dulce Nombre, conocida también por la del Santo Sepulcro remonta sus orígenes al siglo XVI. Su constitución ésta fechada en 1565 y asentada canónicamente en la iglesia del Dulce Nombre, procesionándose en la noche del Viernes Santo. El objeto de esta Cofradía era celebrar la ceremonia de Descendimiento de la Cruz y la posterior procesión del Santo Entierro. En sus orígenes sólo contaba con dos pasos, el del Sepulcro y el de la Virgen de la Soledad. En el transcurso del tiempo (durante el siglo XVIII) la Cofradía se vio incrementada con los pasos de San Juan Evangelista, la Santa Cruz y Nuestra Señora de las Angustias. La imagen de Cristo yacente se trajo a Puente Genil en 1622 sustituyendo a otra más antigua, siendo de autor anónimo. La imagen de la Virgen de la Soledad es de tamaño menor que el natural, habiendo sido realizada en 1760 por el escultor pontanés José Ruiz Rey.

El primer libro que se dispone en la Cofradía de Jesús Nazareno es de 1640, del que se deduce que esta Cofradía fue fundada hacia 1595 y desde sus inicios se halla establecida canónicamente en la iglesia de igual nombre. En 1622 llegó a la Villa la imagen de Jesús Nazareno, tratándose de una talla completa para vestir marcada por el manierismo. Es una magnífica obra de autor anónimo. En 1979 fue restaurada en Sevilla por Peláez del Espino y en 1993 en Madrid por el equipo del Instituto de Conservación y Restauración de Bienes Culturales.

A la Cofradía matriz de Jesús Nazareno pertenecían los pasos de la Verónica, la Magdalena, San Juan Evangelista y la Virgen de los Dolores.

Otra de la Cofradías más antiguas de Puente Genil es la que se denominó Cofradía de la Caridad, pudiéndose aproximar su inicio hacia finales del siglo XVI o principios del XVII, aunque se sabe que desde el año 1664 pasó a denominarse Cofradía de la Humildad y Paciencia, estando acompañada en la década de 1680 por los hermanos de la Escuela de Cristo, que vestían con túnica y capuz, llevando crucifijo, rosario y otros elementos, por lo que fue llamada "la procesión de los discípulos". Desde sus inicios tuvo su asiento en la extinguida ermita de la Caridad, hasta que una vez desaparecida ésta (hacia 1890) pasó a establecerse en la Iglesia de la Asunción del Convento de San Francisco de Asís. A esta Cofradía matriz estuvieron vinculadas otras Hermandades como la del Señor del Lavatorio y la de Jesús en la Oración del Huerto, que hacían su estación de penitencia el Miércoles Santo. 

Los años de la Segunda República y los sucesos de la guerra civil marcarían la frontera del ayer y el hoy de la Fiesta Mayor de Puente Genil. Durante este tiempo no se llevaron a cabo la mayoría de las procesiones y en algunos años se concentraron exclusivamente en el Viernes Santo. En 1936 muchos de los pasos, Imágenes y Hermandades llegaron lamentablemente a desaparecer. Fue una época marcada por un evidente decaimiento a la que les sucedió por fortuna una década (la de los cuarenta) de renacimiento y reorganización de Hermandades que empezaron a reponer de nuevo algunas de las Imágenes perdidas, pudiéndose citar la de Jesús Preso, la de Nuestra Señora de la Esperanza y la de Nuestra Señora de la Amargura, entre otras. Los años de la década de los cincuenta estuvieron marcados por una evolución lenta pero continua de la Semana Santa. A la recesión de mediados del siglo XX le sucedió, afortunadamente una creciente y esperanzadora eclosión revitalizadora de costumbres y tradiciones. Pero verdaderamente el gran auge se producirá a partir de 1970.