Bereits als Knabe zeigte er sich begeistert, wenn es zu singen galt. Er besaß eine dichterische Ader, die er von seinem Großvater geerbt hatte. Adam Müller-Guttenbrunn und Adolf Meschendörfer hatten dessen Arbeiten veröffentlicht. Nachdem Josef Gabriel die Volksschule absolviert hatte, nahm er in Ladenburg bei Mannheim an einem Lehrgang für Landwirte teil. Eine höhere Schule besuchte er nicht.
Um die Mitte der dreißiger Jahre war er im Banat und in Siebenbürgen als Heimatdichter bekannt. In seinen Gedichten erschienen das Banater Dorf und das Ahnenerbe als Ordnungs- und Bildungsmächte. Gabriel gehörte zum Freundeskreis, der sich um die „Banater Blätter“ sammelte, der Stefan George als den Deuter und Gestalter neuzeitlichen Geisteslebens verehrte. Um 1935 galt er als „Leitstern der jungen Banater Dichtergeneration“. Ernst und Formstrenge zeigten sich in seinen Gedichten.
Die Kriegsfolgen setzten dem erst Vierzigjährigen ein frühes Ende. Nach einem Arbeitseinsatz in Rußland starb er auf dem Rücktransport in Frankfurt an der Oder und wurde auf dem dortigen sogenannten Nuhnenfriedhof begraben. Drei Bändchen Gedichte sind von ihm im Druck erschienen: „Saatgut“, „Am Heidebrunnen“ und „’s schwowische Johr“.
