指定したシートが存在するか検索を行うメソッドを書いてみたのですが
うまいことプロセスが解放されないのです。
以下はソースです。

Public Function IsSheetExist(ByVal sheetName As String, ByVal fileName As String) As Boolean
Dim xlApp As Excel.Application
xlApp = New Excel.Application
xlApp.DisplayAlerts = False
Dim xlBooks As Excel.Workbooks = xlApp.Workbooks
xlBooks.Open(fileName)
Dim xlBook As Excel.Workbook = _workbooks.Item(1)
Dim xlSheets As Excel.Sheets = xlBook.Worksheets

Try
For i As Integer = 1 To xlBook.Worksheets.Count
'' シート名が存在すればTrueを返す
If String.Equals(DirectCast(xlSheets.Item(i), Excel.Worksheet).Name, sheetName) Then
Return True
End If
Next

Return False