Gorkšsovi je třiatřicet a v kariéře už toho prožil dost. Mezi dospělými začal hrát v roce 2000 v RKB-Arma Riga, pak nastupoval za švédský Östers IF, Assyriska FF a Ventspils.
V zimě 2007 zamířil do Anglie, kde během osmi let vystřídal pět klubů: Blackpool, Queens Park Rangers, Reading, Wolverhampton a Colchester. S Readingem si zahrál v Premier League, za zbylé kluby nastupoval převážně v Championship, druhé nejvyšší soutěži. Poslední sezonu odehrál v řeckém prvoligovém Ergotelisu.
I díky zkušenostem ze zahraničí je Gorkšs kapitánem lotyšské reprezentace, za kterou celkem nastoupil v 66 zápasech a nastřílel 5 gólů. Zatím naposledy hrál v Rize proti Česku při porážce 1:2, nastoupil také na jaře v Praze, kde Lotyši překvapivě remizovali 1:1. V letech 2009 a 2010 byl lotyšským fotbalistou roku.
Příchod zkušeného fotbalisty potvrdil sportovní ředitel Dukly Günter Bittengel. „Kaspars Gorkšs podepsal s naším klubem roční kontrakt,“prozradil.