ああ読み違い
vendorの中にgemsフォルダでも作って、そこにつかいたいバージョンのgemをクローンしてくる

cd vendor/gems/
git clone ....

Gemfileに

gem 'haml-rails', path: "vendor/gems/haml-rails"
みたいに書けばそこから読んでくれるからGemfileとappとvendor全部ひとまとめにしておけば目的のことは出来るんじゃないかと