リストで渡すんじゃなくてファイル名だけを抽出して個別のボタンに貼るんだと思うが
ファイル表示用のレイアウトxml作って
フォルダ切り替えるたびにファイル一覧を表示用のレイアウトに渡す形になるんじゃないの
ファイルコマンダーとか参考にしてみれば敵は強大だけど2画面ファイラーのいい奴ができたら
乗り換えるよ