ken3video

【Excel】Power QueryでHTMLソースから値を抜き出す Html.Table関数を使用してTH,TDタグ指定で値を取得する方法 JRA馬連オッズ取得を例題にして解説を行う

JRA馬連オッズ取得で、最後の一行（15-16など）が消えて困っていませんか？ Web.Page関数（UI操作）の限界を突破し、HTMLソースから直接値を抜き出す方法を詳しく解説します。 要約: Power QueryでJRAホームページからPOST送信でオッズを取得する際、標準のWeb.Page関数を使うと、行数が少ないテーブル（最後の一行など）を取りこぼす現象が発生します[00:43:03]。 本動画では、HTMLソースをText.Splitで分割し、M言語でテーブルを再構築することで、データを1件も漏らさずに取得する手順を実演します。 【タイムライン】 00:00:00 イントロ：大阪杯のオッズ取得テスト 00:02:01 手順01：POST送信でHTMLソース全体を取得する 00:03:57 手順02：馬連テーブルのソースを分割・抽出する 00:13:40 手順03：単体テーブルからの値取り出しテスト（Html.Table活用） 00:26:23 手順04：List.Transformで全テーブルを一括変換する 00:37:03 蛇足：なぜUI操作（Web.Page）だと失敗するのか？検証 00:44:47 おまけ：馬単だと成功する謎の現象 この動画を見てほしい人： ・JRAのオッズデータをExcelで自動取得したい方 ・Power QueryでWebスクレイピングをしていて、データが欠けると悩んでいる方 ・M言語を使ったHTMLソースの直接編集に興味がある中級者 #PowerQuery #Excel #JRA #オッズ取得 #スクレイピング #M言語 #競馬ソフト自作 ---- ファイルのダウンロードページと今回使用したソースコードは https://note.com/calm_slug2867/n/n59bdd9dcfb89?sub_rt=share_pb を見てください。 ---- パワークエリでHTML TABLEソースの取得と値の取り出し JRA馬連オッズ取得向けのテストで使用する まず、HTMLソースからTABLEを集める ---- 01HTMLソース全体を取得する いつものようにPOST送信で、 HTMLのソースを取得する 改行区切りで出力する ---- 02馬連TABLEのソースを抜き出す 03単体固定テストでテーブルから値を取り出す 04複数テーブルを変換して馬連オッズを作成する 5.蛇足とおまけの解説、なぜ？こんな面倒な取得を行ったか？ パワークエリーを使用しているんだから、 自分でコードを書かないで、 メニュー操作で、できるのでは？ と 私も思ってました。 私の勘違いかもしれないのですが、 POST送信で取り込んだWeb.Pageからの操作だと、 最後の馬連オッズが取得できなかったです 気になるので、再テストしてみます 馬連オッズを読み込んで、 テーブルを展開してみると、 こんな感じで、うまく行きませんでした。 メニュー操作や、展開の使い方がわるいのか？ もし、 何か知っている人が居たら、コメント欄で教えてください また、 馬単は、 同じ操作の展開でうまく行きます(おいおい) 6.おわりの挨拶、 最後に謎を残しつつ、 今回も中途半端で失礼します。 詳細のテスト解説をまたやると思うので、よろしくお願いします。 ※ファイルなど、まとめたら、ダウンロードできる形でお知らせします。 ---- YouTubeページの紹介 他のサンプルですが、設置方法の解説は、 【Excel】JRAオッズを自動取得！Power Queryでパワークエリーを0から設置する テスト環境作成の完全ガイド https://www.youtube.com/watch?v=LgeRCGZRxNQ ↑を見てください。 関連動画: 過去の関連動画は、下記の再生リストから https://www.youtube.com/playlist?list=PLBFC80A8658C305CE ↑未解決や単体テストの動画が多いのですが、拾い読みてください。 JavaScriptのdoActionリンク処理 POST送信については - ア.doActionでCNAME(パラメーター)を送り結果を取得する方法をパワークエリーで実現する https://youtube.com/live/ntj8o1D_Jrk ↑POST送信のページをパワークエリーで取得する方法 - イ.3連単など違うパターンでPOST送信されている場合 https://youtube.com/live/wBzgPrrjqUU ↑パラメーターの数が３つになった時の処理例 ----