もし、端点より外側を除外したいなら条件式は
Math.min(line.getX1(), line.getX1()) <= x && x <= Math.max(line.getX1(), line.getX2()) && line.ptSegDist(x, y) <= 10

でも、線分ABの「上下」10pxの範囲でも、ってことなら
line.intersectsLine(x, y - 10, x, y + 10)
でいいんじゃないかと
クリック点から上下に10ピクセル伸ばした線分が線分ABと交差するかどうかで判定