表記の揺らぎ
人間であれば文脈から同じものだと判断できる表記の違いも、AIは厳密に区別してしまう。この「表記の揺らぎ」は、AIがデータを誤って解釈する大きな原因となるのだ。
例えば、AIは「（株）Ａ社」と「株式会社A社」を、全く別の会社として認識してしまう。そのため、同一の会社に関するデータを集計・分析しようとしても、表記が統一されていなければ正確な結果を得ることはできない。
これは会社名に限った話ではない。人の名前、商品名など、データとして扱うすべての固有名詞に当てはまる。具体的には、カタカナや数字における全角と半角の混在、「商品 A」と「商品A」のようなスペースの有無、「(株)」と「株式会社」、「㈱」といった略称の違いなど、あらゆる表記を徹底して統一する必要がある。
データを入力する際は、あらかじめルールを定め、チーム全体で共有することが極めて重要だ。この地道な一手間が、AIの性能を最大限に引き出し、データの信頼性を高めるための鍵となるのである。
