Pada level klub, Rossi juga merupakan pencetak gol yang produktif bagi Vicenza. Pada tahun 1976, ia menandatangani kontrak dengan Juventus dari Vicenza dalam kesepakatan kepemilikan bersama dengan biaya transfer yang memecahkan rekor dunia. Vicenza mempertahankan jasanya, dan ia adalah pencetak gol terbanyak di Serie B pada tahun 1977, memimpin timnya untuk promosi ke Serie A. Musim berikutnya, Rossi mencetak 24 gol, menjadi pemain pertama yang memuncaki daftar pencetak gol terbanyak di Serie B dan Serie A dalam dua musim berturut-turut. Pada tahun 1981, Rossi melakukan debutnya untuk Juventus, dan kemudian memenangkan dua gelar Serie A, Coppa Italia, Piala Winners UEFA, Piala Super UEFA, dan Piala Champions Eropa.
Ia secara luas dianggap sebagai salah satu pemain sepak bola Italia terbesar sepanjang masa, Rossi dinobatkan pada tahun 2004 oleh Pelé sebagai salah satu dari 125 pemain terbaik yang masih hidup sebagai bagian dari perayaan ulang tahun FIFA ke-100.[6] Pada tahun yang sama, Rossi berada di peringkat ke-12 dalam Jajak Pendapat Perayaan Emas UEFA. Setelah pensiun dari sepak bola, ia bekerja sebagai pengamat di Sky, Mediaset Premium, dan Rai Sport, hingga kematiannya pada 9 Desember 2020.