if (numberColumn == listView1.Columns[e.Column]) {
    ....
}
なにが無理なの？