画像に含まれる中国語をOCRで文字を読み取る by Google Lens

2019年に 画像に含まれる中国語をOCRで文字を読み取る by Google Docs という記事を書いていて、内容は画像に含まれる中国語を Google Docs を使って読み取るとる方法を紹介していました。

今なら Google Lens を使った方が簡単で速いのではとふと気づき実際に試してみます。 Google Docs を利用する場合は一度画像を Google ドライブにアップしてから Google Docs で読み込むという2段階のステップが必要でちょっと面倒だったのですが Google Lens ならとても簡単に実行できること、また、画像の中の中国語文字列を指定の言語(日本語など)に変換して画像として表示できることもわかりました。

デスクトップ版の Google Lens で画像の中の中国語を読み取る

Windows 上の Chrome で確認します。

2019年の記事をChromeで開きます。

画像の上で右クリックし Google で画像を検索 を実行します。

右側に Google Lens の機能が表示されます。 既定だとインターネット上の画像検索の結果が表示されます。 1番目に私のブログの記事が来ているのはこの記事上の画像をつかっているのであたりまえの結果ではあります。

ここで テキスト をクリックします。

テキストを選択可能になりますのでテキスト範囲を選択します。

画像の中の中国語の文字列を読み取りできました。 查看图片相似宝贝 としてクリップボードにコピーすることも可能です。

この 查看图片相似宝贝 の意味を知りたい場合は 翻訳を選びます。 そうすると 似たような赤ちゃんの写真を見る と翻訳結果も表示されますし、画像の中の文字列も日本語に置き換わります。 

この画像の中の文字列の翻訳および置き換え機能があることは初めて知ったのですがこれはかなり有用ですね。  Alibaba Cloud を扱っているとドキュメントの中に中国語の文章だけではなく画面スクリーンショットなどの画像が良く出てきます。文章は翻訳などで簡単に日本語や英語なりに変換できますが画像は出来ないものと思い込んでいました。 Google Lens を使うと画像の中の文字列を指定する言語に翻訳できるということです。

具体例として、先日、Visual Studio Code に Alibaba Cloud の拡張機能をインストールしていてその中でドキュメント中に中国語環境の画面のスクリーンショットがありました。これを Google Lens で翻訳してみます。

元画像は以下。(https://marketplace.visualstudio.com/items?itemName=alibabacloud-openapi.vscode-alicloud-api

CDNとか途中にあるアルファベットで何となくわかるものもありますがよくわかりません。

これを Chrome 上から画像を右クリックして画像の検索から Google Lens を使うと以下のスクリーンショットのように画像中の中国語は日本語に変換され、また、テキストも抽出されました。

スマートフォンではよく Google Lens は使っていたのですが草木や花、虫とかの検索で使ってばかりでしたが OCR としてもかなり優秀というか使い方が簡単でかつ検索、テキスト化、画像内の翻訳と実際に必要な情報へのアクセスも簡単に行えるところが秀逸でした。 Google Lens の API 仕様確認しないと出来るかはわからないのですが世界各地の画像をスクレイピングして日本語に変換し、生成AIで紹介する文章も書く、これを自動化するなんてことも簡単に出来そうです(Googleはすでにこれを内部的にやっているわけですが)。

以上