CULA

LAPACK (この中に SVD が含まれている）を CUDA で書き直した CULA
というものがリリースされたようです。
http://www.multicoreinfo.com/2009/08/cula-tools-gpu-accelerated-lapack/

どの程度、速いのでしょうね。