Cuando era adolescente, José Rubio empezó a aprender con una guitarra española. Después de ver a Paco Ventura en un concierto, confirmó que su principal interés era la guitarra eléctrica. Después de un tiempo autodidacta y tocar en diferentes bandas con amigos, decide inscribirse en clases para avanzar y corregir algunos de los vicios adquiridos.
Durante este tiempo fue fundamental aprender de diferentes guitarristas de otros estilos, especialmente jazz y blues, que más tarde lo llevarán al camino del Metal, su pasión y estilo.
A los 19 años decide dedicarse por completo a la guitarra, y comienza a trabajar en la orquesta Arco Iris de Córdoba, lo que le permite seguir asistiendo y pagando sus clases en Madrid en la Escuela del Siglo XXI (dirigida por Jaume Pla), donde no puede terminar el curso de formación por problemas de compatibilidad.
Después de años con Arco Iris, decidió dar un pequeño salto al inscribirse en un musical llamado Wallada, en el que también había antiguos miembros de Medina Azahara y donde se podía encontrar rock fusionado con el flamenco y el baile.
Al mismo tiempo decidió formar una banda de metal seria, Trilogy (que lanzó su primer álbum en febrero de 2007 llamado «Seed of Time») y, por supuesto, seguir asistiendo a clases.
Destaca el curso intensivo recibido por el gran guitarrista Robert Rodrigo (Airless) y la asistencia a la masterclass de Steve Morse, Richie Kotzen y Frank Gambale, entre otros. También ha participado con numerosos grupos y bandas tributo, especialmente con la banda tributo de Deep Purple en 2006, actuando en numerosos conciertos.
José comienza a formar parte de WarCry el 20 de septiembre de 2007.
En 2008, como proyecto paralelo a las otras bandas en las que participaba, lanzó el autoproducido álbum «Castles in the Moon» que recibió muy buenas críticas en medios especializados como Guitarrista, Guitarra Total y Heavy Rock. Después de eso, comenzó una pequeña gira de presentación de clínics por todo el territorio nacional y muchos conciertos acompañados de pistas de acompañamiento.
En el primer trimestre de 2009, deja WarCry por razones familiares y personales. Poco después en Ourense con Pacho Brea (Hybris, Ankhara) formó la banda Megara, cuyo primer álbum titulado «Oubeos» fue editado en 2010.
En 2012 comienza «La Era Nova de José Rubio». Este gran disco es sin duda uno de los proyectos más importantes dentro de la carrera del guitarrista cordobés, sintiéndose muy cómodo en una banda a medida con el ex vocalista de la banda madrileña Santelmo Ronnie Romero.
Aunque este proyecto se forjó a partir de 2008, es en 2011 cuando encuentra los componentes perfectos para la banda y decide renombrar el proyecto en solitario, de tal forma que da origen a la banda que hoy conocemos como «José’s Rubio Nova Era».
En 2013 participa en algunos festivales con «La Nova Era de José Rubio», destacando su participación en el festival Leyendas del Rock que tuvo lugar en agosto en la localidad de Villena (Alicante), actuación muy bien recibida en el pequeño escenario del festival.
Durante los meses de enero y abril de 2014, acompaña como guitarrista a la banda «José Andrea and Uroborós» (banda del ex cantante de Mägo de Oz) durante la gira por México y Estados Unidos.
En noviembre de 2014 se edita el segundo álbum de «José Rubio’s NOVA ERA». Se titula «FIGHT» con una nueva alineación, en la que hay miembros de Sphinx, Snakeyes y Onlyrica. Realizan la gira «We Rise Again Tour» por España, visitando diferentes ciudades y tocando en varios festivales, entre ellos Acordes de Rock en julio de 2015.
Es en 2015 cuando entra a formar parte de la banda, como miembro de José Andrea y Uroboros y participa en la grabación del disco «Resurrección».
Realizan una extensa gira de presentación por el continente americano a lo largo del año 2016.
En 2016 es elegido «Mejor Guitarra del Año» por los lectores de www.metalegun.com, y participa en una gira por todo el continente americano con José Andrea y Uroboros, que le lleva a la grabación de un DVD en directo de BOLIVIA
En este mismo año la salida de su disco en solitario, Sensations, le lleva a realizar una extensa gira de presentación por España, Guatemala, México y USA con gran aceptación por parte del público y la prensa.
En 2018 grabó y produjo el gran disco homónimo con la nueva banda de heavy metal Evil Hunter. También firma con las marcas de guitarras ESP y amplificadores ENGL.
El guitarrista José Rubio tras fichar por Fighter Records lanza su cuarto trabajo en solitario en noviembre 2018, que llevará por título «Forbidden Dreams». Este nuevo álbum fue grabado con la ayuda de músicos de sesión como Gustavo Segura (batería), José Pineda (bajo) y Celso Grande (orquestaciones), e invitados como Lucía del Campo (teclados en «Without You» y «Forbidden Dreans») y Paco Ventura (solo de guitarra en «No Mercy»).
Habrá un extenso tour a través de Europa y América en 2019. Los músicos que acompañarán a Jose Rubio en directo serán: Gustavo Segura (batería), José Pineda (bajo) y Roberto Beade (guitarra).