ようするにこういうことかな。
/(\A|[^\\])\[(.*?[^\\])\]/ =~ '(a)\[(b)[(c)[(d)\](e)](f)' # => 7
$2 # => "(c)[(d)\\](e)"