こんにちは、樋口です。書き込みありがとうございます。
> cannot allocation vector size 1.1G
これはRが出しているエラーメッセージで、お書きいただいた通りの意味だと
思います。データが大きすぎて扱えないということですね。
データサイズについては、FAQにも少し書いていますのでご参照下さい:
http://khc.sourceforge.net/FAQ.html#d-size
根本的な解決のためには、データがある程度以上の量になる場合、ランダムサ
ンプリングを行ってデータ量を減らすといった処理が必要だと思います。残り
のデータも分類する必要があれば、残りの1つ1つのデータについて「どのクラ
スターにそのデータが入るか」を判断するような処理を行うのが一手でしょう。
あるいは、R以外の統計ソフトを使われるのも1つの方法でしょう。
ひとまず思いつくのは以上のようなところです。