R-style

Sharing is Power! / Create your own way.

Menu
  • ホーム
  • About
  • メルマガ
  • 著作リスト
  • Evernoteの使い方
  • Scrapboxの使い方
  • Tools
  • お問い合わせ
Menu

DQNが不得意だったゲーム

Posted on 2015 年 4 月 16 日2017 年 5 月 9 日 by Rashita

少し前、Googleの人工知能アルゴリズム「DQN」が話題になっていた。

Googleの人工知能「DQN」、アタリゲームで人間よりハイスコア叩き出す(ITmedia)

米GoogleのDeepMindチームは2月25日(現地時間)、人工知能(AI)アルゴリズム「deep Q-network(DQN)」についての論文を発表した。DQNはゼロからゲームのルールを学習し、「Breakout」や「Pong」(ブロック崩し)などの「Atari 2600」の2次元ビデオゲームで最終的には人間よりハイスコアを獲得するまでに成長した。

素晴らしい成果である。

もちろん、アルゴリズムがハイスコアを出しただけならたいしたことではない。専用のアルゴリズムを組んでおけば良いだけだ。そして、それではそのゲームをプレイしているのは人間に留まってしまう。あくまで機械に代替させているだけ。

しかし、DQNは、自らの体験による学習で、ゲームのプレイ方法を学んでいった。ブロック崩しは比較的単純なシチュエーションと言えるが、今後より複雑な状況に対応できるようになれば、現実世界で動くロボットのアルゴリズムにも少なからずの影響を与えるだろう。

そのように、今後の成長が期待できるAIではあるのだが、いくつかの紹介記事を見ていて気になったことがあった。

ゲーム攻略で人間を超えた人工知能、その名は「DQN」(WIRED)

グーグル、自ら学ぶ人工知能開発 ゲーム繰り返し遊んで攻略(日本経済新聞)

49種類のゲームのうち、29種類のゲームで人間並みかそれ以上の得点をたたき出したという。素晴らしい成果だ。じゃあ、それ以下のゲームってどのようなものだったのだろうか。つまり、時間をかけてもDQNがうまくならなかったゲームって、どんなタイプのゲームなのだろうか。ゲーム好きとしては気になってくる。

From Pixels to Actions: Human-level control through Deep Reinforcement Learning(Google Research Blog)

上の記事では、ゲームのタイトルと成績がグラフでまとめられている。できれば、直接記事をご覧頂きたいが、一部分だけ引用させていただく。人間よりも成績が下回った部分だ。

screenshot

残念ながらタイトルが英語なので、ゲームについてはちんぷんかんぷんである。しかし、いくつか推測が働くものもある。たとえば、「Double Dunk」はバスケットのゲームだろう。そして、タイトルさえわかればググれる。キーワードにatariをつければ、だいたいのゲーム動画が見つかる。

よくわからないが、2on2のバスケットゲームのようだ。

あるいは、「Ms. Pac-Man」というものもある。これはもちろん、パックマンのことだろう。

他にも「Seaquest」という潜水艦(のようなもの)を操縦して、海洋生物と戦うゲームもあった。

ブロック崩しやピンボールと、これらのゲームの違いは何であろうか。単純に考えれば、複雑性である。

ブロック崩しで、プレイヤーがすべきこと(できること)は、バーを左右に移動させるだけだ。そして、注意を絞るのはボールの動きだけでいい。ボールの位置とベクトルさえ把握しておけば、ボールに近づくように(離れすぎないように)できるし、それでゲームは続けられる。

DQNが優秀な成績を収めた他のゲームでも事情は似通っている。

縦スクロールのシューティング「River Raid」では、自機は左右にしか動かない、ボクシングゲームの「Boxing」は四角のリングを自由に動き回れるが相手は一人で、しかも攻撃は平面からのみ。かがんでからのアッパーも、打ち下ろしのチョッピングライトも飛んでこない。3Dのカーレース「Enduro」は、見た目は立体だがゲームとしては細い縦スクロールシューティングと大差がない。競争相手はたくさんいるが、意識するのは少し前を走る車だけでよい。

それに比べるとDQNが不得意としたゲームは、状況が複雑である。

「Double Dunk」は自由に動き回れる上、相手も二人、自分たちも二人である。行動の選択肢もドリブルがあり、パスがあり、シュートがある。

「Ms. Pac-Man」は、動きこそ通路で制約されているが、経路は無数に存在する。挙げ句の果てに強力な敵がわんさか存在し、それらがリアルタイムで動いている。そして、その動きはランダムとパターンが微妙に組み合わさっている。

行動の選択肢がたくさんあり、しかも、その結果に点を付けにくい。

ある状況でAという行動を取りました。結果の成績が1000点でした。同じ状況で今度はBという行動を取り、結果が2000点でした。次からはBという行動を取ります。という、状況であれば「進化」は早いだろう。

しかしながら、パックマンでは同じ状況の再現性はほとんどない。主人公の敵キャラの位置関係ならばいくらでも再現性はあるが、残りの敵の位置、残っているアイテムの数や場所は変わってしまう。かといって、「最短でアイテムを集めきる」という戦略をとると(ご存じのように)即死してしまうし、「敵に接触する可能性がある行動をとらない」ようになると身動きできなくなる。

目の前の状況に対応しながら、全体の状況も考慮しなければならないし、また違った風にみえる状況からパターンを見つけ出し、使えるテクニックを選択しなければならない。

もちろん、そうしたことが人工知能にまったく不可能だ、という話をしたいわけではない。多体問題的な難しさを含むかもしれないが、進化の可能性はいつでもある。

が、それはそれとしてフィードバックサイクルと評価の問題は意識しておきたい。

ある行動を取り、その結果が即時的に「良い」というフィードバックを返すものならば、その進化・進歩は容易い。アルゴリズムでも達成されているのだ(もちろん、その技術が易しいと言っているわけではない)。

しかし、行動とその結果の関係が見えにくいものだったり、フィードバックが返ってくるのが相当後になるものだったり、あるいはそもそも明確な点数付けなどできないものであるとき(「私はこの小説に92点ほど感動しました」)、その進化・進歩は容易いものではなくなる。少なくとも、その取り扱いには慎重さが求められる。

その扱い方こそが我々とDQNを分ける、と言いたいところだが、それは楽観過ぎるというものだろう。少なくとも、「今のところ」という留保は必要だし、そもそもとして、私たちが本当にそうしたものの扱いに長けているかも疑問である。

しかし、そうしたアプローチでしか解決・達成できない問題や課題が存在するのならば、軽んじてはいけないだろう。

▼こんな一冊も:

マッチ箱の脳(AI)―使える人工知能のお話
マッチ箱の脳(AI)―使える人工知能のお話 森川幸人

森川幸人 2014-01-05
売り上げランキング : 2100

Amazonで詳しく見る by G-Tools

前の記事 次の記事

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

有料メルマガ配信中!

サークルもやってます

New Book!

すべてはノートからはじまる あなたの人生をひらく記録術

「やること地獄」を終わらせるタスク管理「超」入門 (星海社新書)

オススメ本

→これまでの著作一覧
  • →SNS:
  • rashita2 さんのプロフィールを Twitter で表示
  • rashita さんのプロフィールを GitHub で表示

Hot Books!

→紹介記事

→紹介記事

→紹介記事

最近の投稿

  • 『Re:vision』が「Kindle本夏のビッグセール」対象となりました。
  • ノートがやがてうまく使えなくなる問題
  • ノートで世界を知る、自分を知る
  • 一つの情報に、もう一度触れること
  • 執筆はメモからはじめる
  • ブログ死すとも文章は死せず

カテゴリー

  • 0-知的生産の技術 (1,580)
    • BlogArts (121)
    • Evernoteの使い方 (177)
    • Scrapboxの用法 (101)
    • Scrivenerへの散歩道 (22)
    • アウトライナーで遊ぼう (88)
    • プログラミング (11)
    • 執筆法 (45)
    • 断片からの創造 (93)
    • 物書き生活と道具箱 (682)
  • 1-情報ツール考察 (74)
  • 2-社会情報論 (108)
  • 3-叛逆の仕事術 (392)
    • 「タスク」の研究 (260)
  • 4-僕らの生存戦略 (259)
  • 5-創作文 (91)
  • 6-エッセイ (217)
  • 7-本の紹介 (465)
  • コレクション (4)
  • 未分類 (2,833)
    • まとめ記事 (516)
    • 企画 (83)
    • 告知 (262)
    • 感想群 (111)
    • 時事ニュース (1,241)

タグ

#365日の書斎 #AppleScriptでEvernoteを操作する #「目標」の研究 #わりと身も蓋もない話 applescript blog BlogArts CategoryAllegory Dynalist Evernote GTD iPhone・iPad・Mac Scrapbox Scrivener Workflowy 〈学びの土曜日〉 「本」の未来 『「やること地獄」を終わらせるタスク管理「超」入門』 うちあわせCast ささやかな質問 ほぼ日手帳 アウトライナー アナログ道具あそび ショートショート セミナー・オフ会・イベント セルフ・ブランディング タスク管理 ノート ノート術 ポッドキャスト 哲学 思想 思考の技術 情報カード 情報摂取の作法 手帳術 政治・社会 教育 文房具 文章の織り方 新しい時代を生きる力 書評 発想法の探求 経済・金融 電子書籍

アーカイブ

メタ情報

  • ログイン
  • 投稿フィード
  • コメントフィード
  • WordPress.org

My Works

著作リスト

著作リスト

アーカイブ

カテゴリー

アーカイブ

  • 2022年8月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2022年1月
  • 2021年12月
  • 2021年11月
  • 2021年10月
  • 2021年9月
  • 2021年8月
  • 2021年7月
  • 2021年6月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年6月
  • 2020年5月
  • 2020年4月
  • 2020年3月
  • 2020年2月
  • 2020年1月
  • 2019年12月
  • 2019年11月
  • 2019年10月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年2月
  • 2019年1月
  • 2018年12月
  • 2018年11月
  • 2018年10月
  • 2018年9月
  • 2018年8月
  • 2018年7月
  • 2018年6月
  • 2018年5月
  • 2018年4月
  • 2018年3月
  • 2018年2月
  • 2018年1月
  • 2017年12月
  • 2017年11月
  • 2017年10月
  • 2017年9月
  • 2017年8月
  • 2017年7月
  • 2017年6月
  • 2017年5月
  • 2017年4月
  • 2017年3月
  • 2017年2月
  • 2017年1月
  • 2016年12月
  • 2016年11月
  • 2016年10月
  • 2016年9月
  • 2016年8月
  • 2016年7月
  • 2016年6月
  • 2016年5月
  • 2016年4月
  • 2016年3月
  • 2016年2月
  • 2016年1月
  • 2015年12月
  • 2015年11月
  • 2015年10月
  • 2015年9月
  • 2015年8月
  • 2015年7月
  • 2015年6月
  • 2015年5月
  • 2015年4月
  • 2015年3月
  • 2015年2月
  • 2015年1月
  • 2014年12月
  • 2014年11月
  • 2014年10月
  • 2014年9月
  • 2014年8月
  • 2014年7月
  • 2014年6月
  • 2014年5月
  • 2014年4月
  • 2014年3月
  • 2014年2月
  • 2014年1月
  • 2013年12月
  • 2013年11月
  • 2013年10月
  • 2013年9月
  • 2013年8月
  • 2013年7月
  • 2013年6月
  • 2013年5月
  • 2013年4月
  • 2013年3月
  • 2013年2月
  • 2013年1月
  • 2012年12月
  • 2012年11月
  • 2012年10月
  • 2012年9月
  • 2012年8月
  • 2012年7月
  • 2012年6月
  • 2012年5月
  • 2012年4月
  • 2012年3月
  • 2012年2月
  • 2012年1月
  • 2011年12月
  • 2011年11月
  • 2011年10月
  • 2011年9月
  • 2011年8月
  • 2011年7月
  • 2011年6月
  • 2011年5月
  • 2011年4月
  • 2011年3月
  • 2011年2月
  • 2011年1月
  • 2010年12月
  • 2010年11月
  • 2010年10月
  • 2010年9月
  • 2010年8月
  • 2010年7月
  • 2010年6月
  • 2010年5月
  • 2010年4月
  • 2010年3月
  • 2010年2月
  • 2010年1月
  • 2009年12月
  • 2009年11月
  • 2009年10月
  • 2009年9月
  • 2009年8月
  • 2009年7月
  • 2009年6月
  • 2009年5月
  • 2009年4月
  • 2009年2月
  • 2009年1月
  • 2008年12月
  • 2008年11月
  • 2008年10月
  • 2008年9月
  • 2008年8月
  • 2008年7月
  • 2008年6月
  • 2008年5月
  • 2008年4月
  • 2008年3月
  • 2008年2月
  • 2008年1月
  • 2007年12月
  • 2007年11月
  • 2007年10月
  • 2007年9月
  • 2007年8月
  • 2007年7月
  • 2007年6月
  • 2007年5月
  • 2007年4月
  • 2007年3月
  • 2007年2月
  • 2007年1月
  • 2006年12月
  • 2006年11月
  • 2006年10月
  • 2006年9月
  • 2006年8月
  • 2006年7月
  • 2006年6月
  • 2006年5月
  • 2006年4月
  • 2006年3月
  • 2006年2月
  • 2006年1月
  • 2005年12月
  • 2005年11月
  • 2005年10月
  • 2005年9月
  • 2005年8月
  • 2005年7月
  • 2005年6月
  • 2005年5月
  • 2005年4月
  • 2005年3月
  • 2005年2月
  • 2005年1月
  • 2004年7月
  • 2004年6月
  • 2004年5月
  • 2004年4月
  • 2004年3月
©2022 R-style | WordPress Theme by Superbthemes.com