Mannen dömdes i maj i fjol av tingsrätten, till skyddstillsyn med samhällstjänst i 200 timmar.
När mannen var 16 år hade han ett förhållande med en 12-årig flicka. De båda bodde då på annan ort i Sverige
I tingsrätten har den numera 17-åriga tjejen berättat att 20-åringen aldrig tvingade till sig sex av henne, men att hon ändå flera gånger kände sig tvungen att gå med på att ha sex med honom, trots att hon inte ville. 20-åringen har sagt att han aldrig tvingat till sig något, utan att han accepterat då flickan sagt nej.
Tingsrätten konstaterade i samband med domen att det vid tillfället återstod flera år innan hon skulle uppnå "åldern för sexuellt självbestämmande".
Hovrätten sänkte straffet till 180 timmar samhällstjänst. När det gäller skulddelen angav hovrätten antalets brottstillfällen till tio.
Högsta domstolen har gått igenom materialet men kommit fram till att det inte finns något skäl att meddela prövningstillstånd.
Hovrättens dom står därmed fast.