Ein Fussballspiel sollte die Initialzündung für die Gründung des Grazer Athletiksport-Klubs sein. Die Schüler und Maturanten des ASV, die damals keine Aufnahme in die erste Mannschaft fanden, forderten die arrivierten Spieler, gewannen prompt und beschlossen die Gründung eines eigenen Vereins. 1902 wurde der Grazer Athletiksport-Klub als Allroundverein gegründet. Die Aufnahme von anderen Sportarten neben Fussball war vorgesehen und diese sollten durch Sektionen innerhalb des Stammvereins repräsentiert werden.

Diese Struktur - die einzelnen Sektionen direkt vom Stammverein zu führen - hielt bis 1975. Die unterschiedliche wirtschaftliche Entwicklung der einzelnen Sektionen machte aber eine Neuorganisation nötig. Die Fussballsektion geriet in dieser Zeit in wirtschaftliche Schwierigkeiten und hätte bei einem Konkurs alle anderen Vereine in ihrer Existenz gefährdet. So wurden die Statuten des Stammvereins dahingehend geändert, dass die einzelnen Sektionen Zug um Zug in Zweigvereine mit eigener Finanzgebahrung umgewandelt wurden. Diese blieben im Stammverein eingegliedert, hatten jedoch eigene Rechtspersönlichkeit. Der Stammverein hat seitdem nur mehr eine Verwaltungsfunktion und trägt die Namensrechte.

Der Grazer Athletiksport-Klub war als Vielspartenverein konzipiert: Fußball, Tennis, Radsport, Leichtathletik, Schwimmsport (Schwimmen, Wasserball, Wasserspringen), Fechten, Feldhandball, Basketball, Tischtennis und auch Wintersportarten wie Rodeln, Bobfahren, Schispringen, Langlaufen, Eiskunstlauf und Eishockey entwickelten sich im Laufe der Vereinsgeschichte zu mehr oder weniger erfolgreichen und langlebigen Sektionen.

Viele Meistertitel und lang bestehende Rekorde z. B. der Leichtathleten, Schwimmer, Radfahrer oder Rodler zeugen ebenso von der Diversifikation im Klub wie die Staatsmeistertitel der Tennissektion oder der Nationalligatitel im Eishockey. Insgesamt hat der GAK in seiner Geschichte in 14 Sportarten Meisterschaftstitel errungen (steirische und österreichische). Mittlerweile sind etliche Sektionen nicht mehr existent, jedoch haben sich Fußball, Tennis, Basketball und Wasserspringen als eigenständige Sektionen behauptet und sind mittlerweile als komplett eigenständige Vereine tätig.

1970 war der GAK letztmals in sämtlichen aktiven Mannschaftssportarten in der jeweils höchsten österreichischen Liga vertreten (Fußball: Nationalliga, Eishockey: Bundesliga, Tennis Damen und Herren: jeweils Staatsliga A, Basketball: Staatsliga A, Wasserball: Staatsliga), dazu kamen noch die Staatsmeistertitel der Wasserballer (als erster Verein außerhalb Wiens), im Tennis-Doppel der Herren (Peter Böck/Herbert Holzer) und im Kunst- und Turmspringen durch Armin Lind.

Doch die die finanziellen und organisatorischen Probleme wurden Anfang der 1970er-Jahre immer größer - so betrug das Budget der Fußballsektion ein Vielfaches der kleineren Sektionen Basketball und Wasserspringen - und ein Konkurs einer Sektion hätte möglicherweise alle andere Sektionen mitgerissen. Der Vorstand kam schließlich zur Entscheidung, dass man einen integrierten Allroundsportverein in dieser Form nicht mehr weiterführen konnte.

Deshalb gewährte man den einzelnen Sektionen rechtliche Eigenständigkeit unter dem Dach des Stammvereins, was mit der Statutenänderung 1975/77 erfolgte und von der alle aktiven Sektionen Gebrauch machten.