分析対象の文字数に制限はありますか

[Katsumi1967]

お使いのKH Coderのバージョン

3.Beta05b Mac

ご質問の内容をお書きください

■お使いのOS
→macOS 14.2.1

■分析しようとしているのは何語のテキストですか？
→韓国語

KHcoderで処理する際、対象の文字列には文字数の制限があるのでしょうか。別スレッドに立てた韓国歴代大統領の演説テキスト（韓国語）を処理しようとしています。最初はExcelファイルを作って処理しようと思いましたが、Excelでは１つのセルに入れられる文字数に制限（32,767文字）がありました。対象の演説テキストにはこれを超える文字数のものがあるので、CSVファイルを作りました。制限を超えたのは、4万字超と5万字超がそれぞれ１本でした。

KHcoderでCSVファイルを読み込み、前処理をすることはできました。なので動作するのだろうとは考えたのですが、もしかして分析する際には文字数に制限がある可能性もあるのではないかと心配になってきました。

マイクロソフトのサイトを見ると、Excelには１つのセル内での最大改行数が253という制限もありました。ただpythonコードで処理した場合、この制限を超える改行数を含むセルもできてしまいました。それでもExcelファイル内にきちんと収納されていましたので、余計にわけがわからなくなってしまった次第です。

文字数制限があるとしたら、実際の分析を進める際に工夫が必要になるような気がしています。お忙しいところ大変恐縮ですが、ご教授いただけないでしょうか。よろしくお願いいたします。

ここまでに進めた作業は以下の通りです。
１）スクレイピングで演説テキスト1444本を取得。得られた演説データは、本文について改行がすべて失われたもの。
２）Apple純正の表計算アプリNumbersで分類し、不要なものを除外。結果として分析対象となった演説テキストは1245本。多くは4000～１万字だが、１万字超もそこそこある。Excelのセル収納制限（32,767文字）を超えるものも2本あった。（NumbersはExcelより圧倒的に軽快で、5万字超のテキストも問題なかった）
３）Numbersで10人の大統領それぞれのファイルを作成し、それをExcelに書き出す。
４）別スレッドでシェアしたpythonコードで、演説テキスト本文を収納したセル内に（見かけの）改行を挿入。最後は手作業で、全ての段落を700字以下にした。
５）ExcelファイルからCSVに書き出す。質問の本題からはずれますが、約15,000字を超すテキストが入っていたセルはCSVに書き出されず、空白のセルになるという問題も発生。（もととも制限文字数を超えていたセルも当然、これにひっかかった）
６）CSVで空白になってしまった長文の演説テキストについて、適切に改行を入れた状態でテキストを補充（これは手作業）。
７）KHcoderで10個の新規プロジェクトとしてCSVファイル10本を読み込み、前処理を実行。前処理は正常にできたと返ってきた。

データは公開されているものですので、必要であればアップロードします。

[ko-ichi-h]

データ準備お疲れさまです。多くの場合、分析よりもデータの準備が大変ですよね。

さて、KH Coderそのものには文字数制限はないはずです。

理論的には、MeCabで語に分割したあとのファイルや、MySQLデータベースの構成ファイルが、HDD/SSDのスペースを埋め尽くすまで動くはずです。

ただ現実的には、あまりファイルが大きくなると前処理や、統計計算にものすごく長い時間がかかって現実的ではなさそうに思います。私自身が分析を試した最大のファイルは、CSVファイルで200MBくらいまでです。分析に結構長い時間がかかったので、あれこれ試したりするには、ランダムサンプリングなどの方法で5MBから10MB程度に減らすのが快適かなと思います。

KH Coderの前処理が完了したら、KH Coderが認識しているH5（セル）の数、段落（改行）の数、文の数などがメイン画面に表示されます。この数を見て、分析対象ファイルを最後まで処理できていそうかどうかご確認いただくのが確実です。

[Katsumi1967]

丁寧なご回答ありがとうございます。H5の件数は確認しました。段落数も確認してみると、よりいいのかもしれませんね。確かめてみます。
この質問を書いてから、Mac版もベータが取れた版が販売されているのに気付きました。購入を検討させていただきます。個人負担なので若干慎重になってしまうのですが…。

[ko-ichi-h]

はなはだ蛇足ながら、多くの場合は、（1セルの中にそれほど多くの段落がない場合は）H5の数を確認していただけば十分だと思います。

もし次回同様の処理をされる機会があれば、Numbersから直接CSVに書き出して、CSVをPythonで操作するのが良いかもしれませんね。Excelファイルの操作ができるならCSVファイルも？