AIや機械学習モデルに漫画は読めるのか? 実際に試してみた!

キュービストのこと,思わずシェアしたくなる話
2018.04.04

 つい先日、漫画のセリフを OCRソフト(画像の文字をテキストデータにしてくれるソフト)で書き起こす機会があったのですが、なかなか上手くいきませんでした。
 何かいい手はないかと考えたとき、ふと思いついたのが最近流行りの AI(人口知能)や機械学習モデル。これらを使えば、漫画の内容を理解してセリフを書き起こしてくれるのではないか!?
 そこで今回は、機械学習モデルにより画像内容を分析してくれる Cloud Vision API というサービスを使って、漫画のセリフの書き起こしを試してみました。

Cloud Vision API について

 Cloud Vision API は、検索エンジン大手のGoogle が提供するクラウドサービスの機能のひとつです。Cloud Vision API に画像を読み込みさせると、機械学習モデルによって内容を理解し画像に写っているもの(花、動物、乗り物など)を分類したり、文字を検出してテキストデータにしてくれます。

 本格的に Cloud Vision API を使うには、利用登録やちょっとしたプログラミングが必要ですが、Cloud Vision API のページ に簡単に画像分析を試すことができるデモが用意されていますので、今回はこちらを利用します。

※注意:Cloud Vision API で分析した画像が公開されることはありませんが、個人情報や機密情報をアップロードしないように注意しましょう。

今回分析する漫画

 当社の提供するサービスを紹介する「キュービストの仲間たち」という Webマンガ集があるのですが、この中から3本ほど Cloud Vision API で画像分析をしてみたいと思います。
 余談になりますが、この Webマンガはキュービストとお付き合いのある作家さんに書いて頂きました。純粋に漫画としても楽しめる内容になっていますので、ぜひ読んでみてくださいね。

Webマンガ集:キュービストの仲間たち

■漫画1「我ら、ゲーム盛り上げ隊・・・デシ!」の分析結果
 まずはじめに “ゲームもりあげるひと” の漫画「我ら、ゲーム盛り上げ隊・・・デシ!」の分析結果です。緑の枠部分を文字として認識しています、吹き出し以外の効果音などの部分もちゃんと文字として認識していますね。文字は縦書きの文書として認識しているようなので、セリフの順番は調整が必要そうです。


■漫画2「ハイテクビューティー、サイトつくるおねーさんX!」の分析結果
 続いて “サイトつくるひと” の漫画「ハイテクビューティー、サイトつくるおねーさんX!」の分析結果、ほとんど変換ミスなく文字をテキストに変換してくれています。


■漫画3「ピ○太郎超え!?デキる動画P現る!」の分析結果
 最後に “動画つくるひと” の漫画「ピ○太郎超え!?デキる動画P現る!」の分析結果です。 吹き出しが多く手書きの文字も混ざっていますが、そこそこ認識してくれています。さすがに大きい効果文字「バァァン!」や「うわーっ!?」は、文字として認識していないようです。

試してみた感想

 機械学習モデルを利用した Cloud Vision API で漫画を分析してみたところ、なかなかの精度で漫画のセリフの書き起こしをしてくれることがわかりました。
 書き起こしたセリフの順番の整理や、どのキャラクターがしゃべったセリフかの仕分けは人間が判断して手作業で行う必要がありそうですが、AI(人口知能)や機械学習モデルと人間の判断をうまく 組み合わせれば、作業を効率化できるかもしれませんね!

関連記事

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です