r_nsdのブログ

r_nsdのブログ

勉強したこと・調べたこと・思ったことを残しておくためのブログ

MENU

【Python】path の確認

ライブラリや他のディレクトリのモジュールをimport するときにどこを見に行っているのかを確認する import pprint import sys pprint.pprint(sys.path) これで見ることができます. sys, pprint ともに標準ライブラリです. sys は基本的な設定や実行環境の…

運搬経路問題(配送最適化問題,Vehicle Routing Problem) をPuLPで解く

Qiitaの記事 qiita.com

【強化学習】モデルフリー(モンテカルロ法,Q学習,SARSA,Actor-Critic)

強化学習について軽くおさらいします. 強化学習は,長期的な報酬が最大化するような方策を学習することが目的でした. 学習対象である良い方策を求めるためには,長期的な報酬(価値)を求める必要がありました. 環境(モデル:遷移関数,報酬関数)がわか…

【強化学習】方策勾配法,方策勾配定理

方策勾配法 強化学習の目的は「長期的な報酬を最大化する方策を求めること」でした. 方策勾配法は,方策をパラメータを持った関数として定義し,方策の価値が最大となるパラメータを勾配法で求める方法です. パラメータを持つ方策の価値をとします.方策の…

【強化学習】モデルベース(価値反復法,方策反復法)

強化学習の目的は「長期的な報酬を最大化する方策を求めること」であり,長期的な報酬は価値関数で表現されます. ある状態で方策に従って行動したときの価値関数を状態価値関数と呼び,次の式で定義します. 価値反復法 価値反復法 (Vlaue Iteration) とは…

RのパッケージAERをインストールする際に詰まった問題の対処法

R

はじめに 普段はPython を使っているのですが,統計モデリング(個人的には離散選択モデリング)をする際にRのパッケージが充実しているのでRを使おうと思いました. Sarrias, Mauricio, and Ricardo Daziano. 2017. “Multinomial Logit Models with Continu…

確率分布(工事中)

確率分布とは,確率変数と確率の対応をとったものです. ある事象がある値をとるときの確率は〜という言い方をします. 例えば,サイコロを振った時に出る目が1となる確率はという言い方を日常でも使うと思います. このとき,サイコロを振ったときに出る目…

離散選択モデリング入門(多項ロジットモデルの理論とPythonによる実装)

はじめに 日常には選択行動が溢れています.例えば,移動するときにはバスや鉄道,タクシーなどの選択肢から一つの交通手段を選択します.このような離散的な選択肢の中から選択をする行動をモデル化することを「離散選択モデリング」と呼びます. 本記事で…

情報量・エントロピー

情報量,エントロピーなどの単語についてのメモです. 情報とは データとは 情報量 エントロピー(平均情報量) 交差エントロピー 相対エントロピー(KLダイバージェンス,KL情報量) 結合エントロピー(同時エントロピー) 条件付きエントロピー 相互情報量…

オンデマンド型交通の企業まとめ

本記事では,人々の呼び出し(デマンド)に応じて車両を配車するサービスであるオンデマンド型交通の事業を行っている企業についてまとめました. オンデマンド型交通としてライドヘイリング・配車タクシー・オンデマンド型乗合交通を挙げます.それぞれの立…

TeX とLaTeX の違いと~TeX

TeX とLaTeX の違い TeX は,組版(文字や図を配置する作業の総称)をするためのソフトウェアであり,組版の命令を行うための言語である. 組版する文字や図と組版の命令からなるテキストファイルを読み込み,命令に従って組版し,DVI 形式(device-independ…

図作成

ツール Adobe Illustrator オブジェクトの整列 ウインドウ→整列 (Shift+F7) 複数オブジェクトのサイズを統一する こちらのサイトのスクリプトをコピーさせてもらい,拡張子「.jsx」のファイルを作成 hoge/Adobe/Adobe Illustrator CC 2019/Presets/ja_JP/ス…

文書作成

ツール TeX TeX とLaTeX の違いと~TeX Overleaf で日本語を使う Overleaf v2 で日本語を使用する方法 - TeX Alchemist Onlineを参考にさせていただいてできた 図 サイズ \includegraphics[width=0.8\hsize]{ファイル名} とすると,いちいちサイズを調整しな…

逆強化学習とは

強化学習は,長期的な報酬を最大化するような方策を求めることを目的としていました. 囲碁の場合は勝つ(相手より陣地をとる)と報酬がもらえ,迷路の場合はゴールにたどり着けば報酬がもらえます.このように囲碁や迷路では報酬の設計が簡単です. しかし…

【強化学習】モデルベースとモデルフリー

ベルマン方程式の記事で価値関数を再帰的な形で定義しました. 状態価値関数 行動価値関数 おさらいすると強化学習は,この価値関数が最大となるような方策を求めることを目的としていました. 良い方策を求めるためには,価値関数を推定しなければなりませ…

【強化学習】ベルマン方程式と価値関数

強化学習とはの記事で,強化学習の概要とマルコフ決定過程 (MDP) について触れました. 強化学習の目的は,長期的な報酬(割引報酬和)を最大化する方策を求めることでした. この割引報酬和は即時報酬と割引率を用いて次の式で表されるのでした. 強化学習…

【強化学習】強化学習とマルコフ決定過程

強化学習 AI囲碁のAlphaGoに使われていることで有名ですが,囲碁を例とすると,試合に勝つことを目的として,どのように碁石を打っていくかを学習する手法を強化学習といいます. 機械学習の教師あり学習では正解を与えますが,正解を与えることが困難なもの…

【強化学習】目次

強化学習 強化学習とマルコフ決定過程 ベルマン方程式と価値関数 モデルベースとモデルフリー モデルベース(価値反復法,方策反復法) モデルフリー(モンテカルロ法,Q学習,SARSA,Actor-Critic) 方策勾配法,方策勾配定理 REINFORCE DPG(決定論的方策…

SUMOチュートリアル「TraCI4Traffic Lights」

オンラインでシミュレーションの値の取得や状態の変化を行うことができる機能「TraCI (Traffic Control Interface)」を使ったチュートリアルを行ったので記録しておきます. TraCIは,TCPで制御する側(クライアントと言ったりコントローラと言ったりする)…

TraCIの使い方

SUMOの追加機能として,オンラインでシミュレーションの結果を取得したり,パラメータを変化させる「TraCI (Traffic Control Interface)」があります. クライアント(制御する側)とサーバー(SUMO)といった関係で,クライアントからコマンドを送ったり,…

KDD2019交通系論文サーベイ(abstractメモ)

KDD2019で発表された論文のうち,"Traffic", "Transportation", "Travel", "Demand", "Urban", "Uber" のキーワードで引っかかった論文のメモです. 交通量予測(7件) イベント予測(3件) 信号制御(2件) 配車アルゴリズム(2件) レコメンデーション(2…

SUMOチュートリアル「SUMOlympics」- ③信号と歩行者の設定

SUMOの複数の交通手段をシミュレーション上で動かすためのチュートリアル"SUMOlympics"のうち,信号と歩行者の設定部分を記録したものです. (SUMOのインストール,パスの設定は完了しているものとします.使用しているSUMOのバージョンは0.32.0です.) 各…

SUMOチュートリアル「SUMOlympics」- ②各交通手段の車両や経路の設定&シミュレーション実行

SUMOの複数の交通手段をシミュレーション上で動かすためのチュートリアル"SUMOlympics"のうち,各交通手段の車両や経路の設定部分を記録したものです. (SUMOのインストール,パスの設定は完了しているものとします.使用しているSUMOのバージョンは0.32.0…

SUMOチュートリアル「SUMOlympics」- ①SUMOで各交通手段の車線の設定

SUMOの複数の交通手段をシミュレーション上で動かすためのチュートリアル"SUMOlympics"のうち,各交通手段の専用車線の設定部分を記録したものです. (SUMOのインストール,パスの設定は完了しているものとします.使用しているSUMOのバージョンは0.32.0で…

SUMOのチュートリアル "SUMOlympics"

SUMOのチュートリアルの一つである"SUMOlympics"をやってみたので記録しておきます. これは,バス,都市鉄道(路面電車よりも速く普通の電車よりは遅い交通),自転車,車などの複数の交通手段をシミュレーション上で動かすためのチュートリアルです. 行う…

交通シミュレーション

交通シミュレーション SUMO (Simulation of Urban MObility) について チュートリアル SUMOlympics(複数交通手段の取り扱い) TraCI(オンラインインタラクション)