Josef Anton Gall stammte aus einer der angesehensten und wohlhabendsten Familien Weil der Stadts. Nach dem Besuch des Gymnasiums in Rottenburg und Augsburg studierte der vielseitig Begabte in Heidelberg zunächst Philosophie und Theologie, später auch noch Jura, entschied sich dann jedoch nicht für eine Verwaltungslaufbahn, sondern für die Theologie und wurde 1772 zum Priester geweiht.
1773 unternahm Gall eine Studienreise nach Wien, um die Vorträge des Abts von Sagan Johann Ignaz von Felbinger über die Normalschulmethode zu hören und seine Pädagogik im Sinne der Aufklärung kennen zu lernen.
Galls Interesse für Erziehung und Unterrichtung traf sich im josefinischen Kaiserreich mit den staatlichen Anstrengungen, die Volksbildung zu verbessern. Kaiserin Maria Theresia wurde auf ihn aufmerksam und Gall machte schnell Karriere. 1778 wurde er zum Hofkaplan ernannt und 1780 wurde ihm die Aufsicht über die Schulen Niederösterreichs übertragen. In den folgenden Jahren führte Gall eine Reihe von Reformen durch mit dem Ziel, die Lehrerausbildung und die Schulbücher zu verbessern.
Galls Aufstieg war damit noch nicht beendet. 1787 ernannte ihn Kaiser Joseph II. zum Domherrn und „Domscholaster“ in Wien. Ein Jahr später übertrug ihm Joseph die Leitung der jungen Diözese Linz. Josef Anton Gall war damit im 18. Jahrhundert im deutschsprachigen Raum der erste Bischof bürgerlicher Abstammung. Durch seinen schlichten Lebensstil, durch seine Bescheidenheit und durch seine Wohltätigkeit erwarb sich Gall schnell die Sympathie und Zuneigung der Menschen in seiner Diözese.
Galls Verdienste als Bischof lagen im Ausbau und in der Konsolidierung der bei seinem Amtsantritt erst 5 Jahre alten Diözese. Er regelte die Dotation (Zuwendung, Ausstattung) des Amtsinhabers, förderte den Katechismusunterricht in Schule und Kirche und führte eine neue Gottesdienstordnung ein, die der Predigt und der deutschen Sprache größere Bedeutung zumaß.
Als aufgeklärter Theologe wehrte er sich ganz energisch gegen abergläubische Praktiken in seiner Diözese. Gall, der auch Urheber einer Stiftung für die Schule in Weil der Stadt war, setzte das Priesterseminar in Linz als Universalerbe seines großen Vermögens ein.