Asterisk に OPUS の追加がやっとできましたので、その報告です。
教えて頂いたサイト等の情報を整理して、環境を真っ新にして最初からやり直しました。
ソースへのパッチ以外に色々なものを突っ込んだのがいけなかったような気がします。（駄目だった原因は分かりません）
パッチ以外に必要なものは、CentOSで「libopus-devel」、wheezyで「libopus-doc」だけでした。
さすがに Raspberry Pi では負荷が上がりますが、個人使用（常用中）ならいけそうです。