José Villalba Rubio nace en Toledo el 25 de febrero de 1899 en el seno de una familiar con fuertes vínculos militares, siendo su padre ministro de la Guerra entre 1919 y 1920.
En 1904 ingresa como cadete en la Academia de Toledo de donde saldría en 1908 con el grado de 2º teniente.
Su carrera militar la desarrollará en el Protectorado de Marruecos ya que participará en la campaña de 1909, en el Desastre de Annual en 1921 y en la campaña del Desquite que tuvo lugar en 1925.
El 3 de enero de 1936 será ascendido a coronel de Infantería y destinado en Barbastro (Huesca). Cuando estalla la contienda decide permanecer fiel a la República e intenta sin éxito tomar la ciudad de Huesca.
El 4 de enero de 1937 pasa a hacerse cargo de la defensa de Málaga ante el avance del ejercito sublevado, pero cuando la ciudad cae, huye a Almería. El 21 de febrero, Largo Caballero lo cita en Valencia y lo cesa en el mando. Posteriormente será acusado de traición a la República y encarcelado junto con otros jefes militares por la pérdida de la ciudad malagueña.
En 1938, después de ser exonerado de las acusaciones anteriores, pasará a las órdenes del Estado Mayor Central. Pocos días antes de la caída de Barcelona, organiza la evacuación de Gerona y se retira a Francia hasta que en julio de 1949 se presenta voluntario en la Secretaría de Justicia de la Capitanía General de Madrid.
Se le juzgará en Consejo de Guerra el 11 de febrero de 1950 y condenado a 12 años de prisión, pero Franco le aplicará un indulto por dar auxilio a gentes afines a la Causa Nacional y por no compartir ideales con el enemigo.