Orban werd geboren in Kaiserslautern als zoon van een Hongaarse vader en een Poolse moeder. Op vierjarige leeftijd sloot hij zich aan bij 1. FC Kaiserslautern, waar hij de gehele jeugdopleiding doorliep. Hij debuteerde in de Bundesliga voor 1. FC Kaiserslautern op 27 augustus 2011, in de met 0–3 verloren thuiswedstrijd tegen Bayern München. Hij kwam na 87 minuten in het veld voor Thanos Petsos. Hij startte voor het eerst in de basiself op 26 november 2011, in de uitwedstrijd tegen 1. FC Nürnberg, als vervanger van de geschorste Florian Dick. In het seizoen 2011/12 speelde hij vooral wedstrijden bij het tweede elftal. Vanaf het seizoen 2012/13, waarin hij vooral in de laatste wedstrijden van het seizoen speelde, werd hij een vaste kracht in het eerste elftal. In zijn laatste seizoen bij Kaiserlautern was hij tevens aanvoerder.
Hoewel hij in Kaiserslautern een contract had tot 2016, tekende hij in de zomer van 2015 een contract bij rivaal RB Leipzig.[3] Deze overstap veroorzaakte grote woede onder de fans van 1. FC Kaiserslautern. Orban speelde vrijwel iedere wedstrijd in het succesjaar van Leipzig in de 2. Bundesliga. Op 11 augustus 2017 werd hij officieel aanvoerder van het eerste elftal.[4] Op 13 oktober van datzelfde jaar verlengde hij zijn contract tot de zomer van 2022.[5]
Orban debuteerde op 12 oktober 2018 in het Hongaars voetbalelftal. Bondscoach Marco Rossi liet hem toen negentig minuten spelen in een met 1–0 verloren wedstrijd in de UEFA Nations League in en tegen Griekenland. Zijn eerste interlanddoelpunt volgde op 15 november 2018. Hij maakte toen de 1–0 in een met 2–0 gewonnen wedstrijd in diezelfde UEFA Nations League, thuis tegen Estland. Orban werd op 14 mei 2024 door Rossi opgenomen in de Hongaarse selectie voor het EK 2024 in Duitsland.[6] Hongarije werd in de groepsfase uitgeschakeld na nederlagen tegen Zwitserland (1–3) en Duitsland (2–0) en een overwinning tegen Schotland (0–1). Orban kwam in iedere wedstrijd in actie.