世界で初めてAIで作られた合成音声による詐欺被害が発生したことがわかりました。詐欺の被害にあったのはある企業で、被害額は2500万円にのぼります。
被害にあった企業の保険会社である ユーラーヘルメス信用保険会社によると、その企業のマネージャーはある午後に上司からの1本の電話を受けたとのこと。上司の声は「支払いが遅れたことによる追加料金を支払うため、ハンガリーの銀行口座に電信送金すること」「電話をしながらメールで明細を送信すること」と指示したそうです。これが上司を模した合成音声だったわけですが、合成音声は声色だけが同じというわけではなく、声の調子や言葉の区切り方、ドイツなまりまで再現されていたとユーラーヘルメスの広報は報告しています。
一度目の送金を終えたあと、同じ上司の声が再び電話をかけてきたことで、担当マネージャーは不審に思い、当の上司に自分から電話をかけなおしました。ユーラーヘルメスに宛てたメールの中でマネージャーは「私が本物のヨナスと会話している間も、合成音声のヨナスは私に話しかけ続けました」と記しています。
（中略）
インターネットでは写真や映像を拡散していくことでマネタイズが可能であるため、例え技術的にフェイクニュースが検知可能になっても、その拡散を止めることは難しいと考えられています。テクノロジー関連の社会学者であるZeynep Tufecki氏はFacebookやGoogleの「人々を広告に対して柔軟にし、個人の政治的・個人的・社会的な情報の流れを作る」というビジネスモデルが問題であると指摘。これらの企業がビジネスモデルを変えない限り、ディープフェイク技術の進化に伴う問題はオンラインプラットフォームにつきまとうだろうと述べました。
https://gigazine.net/news/20190906-deep-fake-thieves/