Ingen av er verkar det som. Min tolkning var att det kan vara så att din kollega trodde att du kanske var intresserad av att vara "mer än vänner" (= att inleda en kärleks- eller sexuell relation) och att han ville poängtera att han inte var intresserad av det. Så att "jag vill bara vara kollega med dig" var jämfört med alternativet att ha en relation, inte jämfört med att vara vänner. Men om ni pratade om att vara vänner, eller planerade in att göra saker på fritiden, så kan han ju ha menat att han inte vill vara vänner.
Poängen är att om han sa att han "bara vill vara kollegor" så kanske han inte ställde det mot att vara vänner, utan mot att vara mer än bara vänner.