^^ Das liegt dann sicherlich nicht an SPDY, sondern an unzureichendem Code. Lass dir einfach mal die headers ausgegeben.
Und SPDY ist nicht nur auf Bilder beschränkt, sondern umfasst alle Ressourcen und Calls

Weiterhin sollte man bedenken, dass nicht alle User einen aktiven Cache haben, nutzen können (z.B. Proxy), oder man Caching unterstützen möchte. Daher ist SPDY nicht nur auf den ersten Request beschränkt.
@Thunder
Millisekunden erreicht man mit Codeoptimierung, der Einsatz von SPDY bringt schon etwas mehr :P