こんにちは、樋口です。書き込みありがとうございます。
これが上手くいかないと、「部分テキストの取り出し」もできないで
しょうから、なんとかしなくては、というところですね。
さて、基本的にはお書きいただいたような方法で上手くいくはずです。
掲示板への書き込み時のミスかなと思うのですが、見出しとコーディン
グルールが一致していないのが気になるくらいでしょうか。
> 1985年〜1990年(見出し)
> 1985年〜1991年(コーディングルール)
どうしても上手くいかなければ、見出しとコーディングルールともに、
> 85-90
といったシンプルなもの(それも半角文字に統一して)に変えて、お試
しいただくと良いかもしれません。
あとは予断になりますが、データが新聞記事ですので、文単位ではなく
記事単位(h5単位)で計算するのも一手かもしれません。文単位だと、
それぞれの文の中に、各語が出現する確率を見るわけですが、記事単位
(h5単位)にすると、それぞれの記事の中に語が出現する確率を見る
ことになります。十分な記事数があれば、記事単位での計算を試して
見られるのも良いかもしれません。