全文検索黎明期
この数年でＡＩの活用分野が拡大し、業務推進のツールとして使いこなせないと困るまで浸透してきています。
人の仕事を奪う動きも出ています。
若い人の中には悩み事相談に活用する人までいるようで、個人の利用も進んでいます。
ＡＩ関連技術は日進月歩、様々な分野ごとに多様な技術開発が行われています。
特に文章を丸ごと記録して、必要に応じて出力する技術は多様な進歩をしています。
ＡＩでの日本語文献解析の基礎となった、日本語の全文を処理し、検索する技術の黎明期には大変でした。
英語に代表されるアルファベット文字は、単語単位の分かち書きがなされるため、データとしての切り出しは簡単です。
スペース単位で切れば済みます。
単語の語尾変化などを処理すれば意味の解析は、さほど困難ではなかったのです。
ところが漢字やひらがなの羅列されている日本語は文章の意味解析のために単語単位で切り出すのは複雑な処理や、膨大な辞書を持たねばなりませんでした。
我々は特許情報の抄録を読めば発明の内容が理解できます。
それと同じことをコンピュータで行おうとするプロジェクトが1985年ごろスタートしました。
そして、特許情報の抄録を作成していた機関と折衝して、抄録情報の購入に漕ぎつけました。
さらに抄録情報の意味解析を行う技術を調べたところ、ある企業が新聞記事や学術文献の抄録向けに意味解析のための辞書を作りと言語処理を開発していました。
この企業は開発投資を回収するために、特許情報の抄録の解析に使うにあたって条件を提示してきました。
加工してできたデータの著作物は自分たちの著作権があり、利用料を支払い続けねばならないという内容でした。
そこで我々は、独自のデータを作成する方法を工夫し、文章からの意味解析を止め、前後の文字を組み合わせる二文字で蓄積する技術を採用して、文章の意味解析をしないで文字列だけを記録する方法で特許情報の日本語キーワード全文検索を行うようにしたのです。
現在のＡＩは文書の全文検索どころではなく、文章の意味までしっかりと解析していますので大変な進歩です。
ところで、出版物を丸々データ化することは著作権問題が懸念され、グーグルなどは、著作権者の許可を得るべく、出版社を通して、著作者に全文をデータ化する同意を求める活動まで行いました。
当時は多くの出版社は本が売れなくなるのを憂い、反対するように著作者に働きかけていました。
当時出版してもらった本があったのですが、書き手としては多くの方に読んでもらいたいとの希望と、書籍化で、お世話になった出版社の事情にさいなまれましたが、同意しないことにした記憶があります。
時代は経ち、２０１８年の著作権法の改正で、「著作物に表現された思想または感情の享受を目的としない利用」については、利用することができる趣旨の法律改正（著作権法３０条の４の規定を新設）がなされ、ＡＩ用などのデータ蓄積は著作権法上の制限をなくしました。
そこで急速にデータ化が実現し、現在のようなＡＩサービスが進みました。
ＡＩが情報漏洩などの犯罪に利用されたり、勝手に自律的な動きまですることが懸念される状況が出ていますが、人の知恵で回避できることを願うばかりです。
