SSLによる速度低下は?

一応データのやり取りは暗号化しておいたほうがいいんじゃないかと思って、サーバのセッティングを見なおしてみました。

パフォーマンスの低下とありますが、実際どれくらい低下するんだろーと思って、それぞれ調べてみました。
まずSSL無しから。

5回位やりましたが、全部これくらいでした。
約20Mbpsってところでしょうか。
続いてSSL有り。

こちらもやはり何度やっても同じ結果。
更にMacでも同様にテストしましたが、同じ結果でした。
サーバのCPUはAthlonX2 5400+という、結構ハイスペックなCPUなので、それほど速度低下は起きないんじゃないかと思っていたのですが、予想以外に速度が落ちました。
ちょっとこれは速度が落ちすぎな気がしますね。