自己解決…ではないですが
クソ重になった原因は3Dテクスチャみたいです
3Dテクスチャを使用した状態では影MODでもバニラでも重くなりました
一応グラボはGTX970なのですがここまで重くなるとは…