【論文100本ノックの83】位相限定相関法に基づく動画像からの高精度 3 次元復元とその性能評価
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の83本目として、和文2ページの本論文を読む。
３ 対象論文と要約
3.1 対象論文
位相限定相関法に基づく動画像からの高精度 3 次元復元とその性能評価
山尾創輔, 酒井修二, 伊藤康一, & 青木孝文 東北大学
第 76 回全国大会講演論文集 2014.1 (2014): 213-214. 2014
3.2 研究内容
（社会的ニーズ）
なし。
（提案手法）
同画像から3次元復元に最適な画像を選択肢、高精度に3次元復元を行う手法を提案する。
カメラの位置推定と同時に、対象物体の大まかな3次元形状を復元し、その形状に基づいて、詳細な3次元復元のためのフレームを選択する。そして、位相限定相関法(POC)に基づく対応付手法を用いて、高精度かつ密な3次元点群を復元する。3.3 従来の問題点と解決法
なし。
3.4 提案手法（１）動画像のトラッキング
POC(Phase-Only Correlation/位相限定相関法)に基づく対応付手法を用い、画像から検出された特徴点を追跡する
（２）疎な3次元復元
5点アルゴリズムとkneipらの手法により、カメラ位置の推定と疎な3次元点群の復元を行う
（３）三角形メッシュモデルの生成
疎な3次元点群をドロネー四面体分割し、グラフカットにより物体の粗い三角メッシュモデルを生成する
（４）密な3次元復元
各三角形メッシュごとに、画像マッチングに適したフレームを選択し、密な3次元点群を復元する
3.5 検証実験
猫と犬の置物に対して提案手法を適用し、３次元スキャナで取得した点群を真値として性能比較を実施した。
その結果、従来手法よりも高精度かつ密な３次元点群を復元できることを確認した。
3.6 今後の検討
・なし
４ 出現用語
・5点アルゴリズム
・Kneipらの手法
５ おわりに
動画像から３次元物体を復元するという試みはたくさんあるように思う。
ただ、大抵の場合、復元したい対象が決まってから撮影した動画で実験が行われており、また対象以外の情報も少なくなっている。
画像処理のディープラーニングを推進したのは、ディープラーニング技術そのものというよりは、IMAGENET等の画像データベースである。
もし点群処理技術を爆進させたいなら、同様の点群データベースが必要であるが、現在のところ、XtionやKinectが多少一般に広まったとは言え、２次元画像や動画ほど気軽に点群データを取得できる環境にはない。
もし、一般人が気軽に撮影した動画から、人間なり車なり何らかの種類の点群を勝手に抽出してくれるアルゴリズムやソフトがあれば、点群データベースの作成も容易だろう。
どこか金のある研究所に、でっかいデータベースを作ってもらいたい。
６ 今後調査したい事項
【論文100本ノックの82】多視点距離データの統合による全方位モデルの作成
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の82本目として、和文2ページの本論文を読む。
３ 対象論文と要約
3.1 対象論文
多視点距離データの統合による全方位モデルの作成
情報処理学会第 67 回全国大会 6 (2005): 1. 2005
3.2 研究内容
（社会的ニーズ）
屋内の三次元情報の把握は、生活に密着した情報処理を行う上で非常に重要な役割を果たす
（提案手法）
３次元計測により、複雑な前処理なしに、インテリア用品を仮想的に削除・再配置でき、さらに寸法計測や仮想インテリアの配置も行う。
3.3 従来の問題点と解決法
なし。
3.4 提案手法（１）制約
・屋内の反射屈折する物体な組内しない空間を扱う
・壁は９０°ごとに変化し、斜めの壁はない
・カメラは横に傾かない
・カメラは前後移動のみ
（２）手順
ア 壁の抽出と追跡
法線と距離および「壁らしさ」パラメータが条件を満たす点を壁Aの厚生点として抜き出し、それに直角な壁を壁B、壁Cとして抜き出す。
イ インテリア用品の選択と移動処理
ユーザが画面内で指定した範囲にある点群の内、壁以外のものをインテリア用品として認識し、移動可能にする。
ウ 位置情報の追跡処理
カメラの角度と位置を計算し、これに応じてインテリア用品を描画する
エ インテリア用品の計測
幅、高さ、奥行きを座標変換により求める
オ 仮想インテリア用品の挿入
事前に用意したデータを空間に描画する。
3.5 検証実験
Kinectで取得した点群に提案手法を適用し、期待通り動くことを確認した
3.6 今後の検討
・位置追跡アルゴリズムの精度向上
・背景の塗りつぶし
・インテリア用品の描画の高品質化
４ 出現用語
５ おわりに
VR利用の１つに、「まだ完成していない空間の仮想体験」がある。
これにより、実動作を伴う不具合を視覚的に検証し、着工前に洗い出すことが可能である。
本システムはタブレットやノートPCを用いているが、VRゴーグルを掛けたまま各種操作ができる代替手段があれば、非常に面白そうである。
６ 今後調査したい事項
【論文100本ノックの81】3D レーザースキャナから得られた点群データのクラスタリングによる坑道壁面の亀裂抽出法
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の81本目として、和文2ページの本論文を読む。
３ 対象論文と要約
3.1 対象論文
3D レーザースキャナから得られた点群データのクラスタリングによる坑道壁面の亀裂抽出法
松川瞬, 板倉賢一, and 鈴木幸司 室蘭工業大学
第 77 回全国大会講演論文集 2015.1 (2015): 449-450. 2015
3.2 研究内容
（社会的ニーズ）
高レベル放射性廃棄物の地層処分事業の地下施設総延長は200kmにもなるため、現状の地質専門家による坑道壁面の地質観察から省力化が求められている。
（提案手法）
３Dレーザースキャナを用いた坑道壁面の割れ目形状検出法を提案
3.3 従来の問題点と解決法
なし。
3.4 提案手法（１）取得点群の平行移動・単位変換
設計上の採掘断面に投影し、平面上に展開。単位をmm似直す
（２）空間分割・面フィッティング
DiAnaアルゴリズムにより、点群が存在する空間をサイコロ状に分割し、最小二乗法で面フィッティングする
（３）クラスタリング
面フィッティングにより得られた法線と各点座標を用い、クラスタ重心の重心を用いたクラスタリングを行う
（４）割れ目面データ・可視化データ出力
法線を利用し、壁面と割れ目候補を分別する。
3.5 検証実験
日本原子力研究開発機構の瑞浪超深地層研究所・深度300mアクセス坑道に本手法を適用した。
ズレ・検出漏れはあったが、概ね実際の損傷箇所と重複した。
しかし、ノイズが多い、割れ目の連続性がうまく得られない、数的評価がなされていないなどの問題点が多数ある。
3.6 今後の検討
・問題点への対応
４ 出現用語
５ おわりに
メンテナンス社会において、亀裂検出は重要な特徴である。
平面を探索する特徴量として、法線は非常にわかりやすい特徴量である。
しかし、亀裂を探索する特徴量として、法線はあまり良い特徴量とは思えない。
なぜなら、「大量の点群の法線が同一方向を向く」というのは、偶然ではあまり考えられないことであり、平面と認めるに値する状況であるが、「平面と異なる方向の法線が少数存在する」というのは、亀裂以外にもノイズであったり付着物であったりと他の可能性も考えられるからだ。
とかく点群の特徴量といえば法線ばかり取り沙汰されるが、他の特徴量はないものか。
６ 今後調査したい事項
法線以外の特徴量
【論文100本ノックの80】足部点群データからの基準の解剖学的特徴点の抽出
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の80本目として、和文2ページの本論文を読む。
３ 対象論文と要約
3.1 対象論文
足部点群データからの基準の解剖学的特徴点の抽出
高橋瑛逸, 矢原弘樹, 水野一徳, 三谷純, 西原清一, & 福井幸男 筑波大学
情報処理学会第 68 回全国大会, 7, 2. 2006
3.2 研究内容
（社会的ニーズ）
個人の身体に適合した靴を提供するため、個人の身体形状データを点群データから正確に取得するシステムの需要がある。
（提案手法）
3時減速部モデルの座標定義用基準点を身体表面形状の点群データから抽出する
3.3 従来の問題点と解決法
なし。
3.4 提案手法（１）前提条件
ア XY平面は既知
イ 踵点の位置も既知
ウ MT(脛側中足点=第一指中足骨頭のY方向最内点に最も近い形状点),MF(腓側中足点=第五指中足骨の最外点に最も近い形状点)の位置推定を行う
（２）処理の手順
ア 形状点群データ入力
イ 回帰式の算出
サンプルモデルを重回帰分析し、指先端点のX座標からMT/MFのX座標を推定する重回帰式を算出する
ウ 指先端点の抽出
イの形状情報をもとに抽出
エ MT/MFのX座標値を推定
ウを説明変数とし、イの回帰式によりMT/MFのX座標値を推定
オ MT/MFのY座標値を推定
エのx座標を持つ足底点群の輪郭線の内、最小のy座標を持つものが該当
カ MT/MFのZ座標値を推定
算出済みx,y座標を持つ最大のz座標が該当
キ 解剖学的特徴点の出力
3.5 検証実験
提案手法を40名分実施した。
推定誤差は4mm±1mm程度と大きかった。
考えうる原因と対策は以下のとおり。
・説明変数の不足→説明変数を増やす
・撮像時指姿勢
・特徴的な足→例外的モデルの排除
・スキャナ誤差
3.6 今後の検討
・誤差要因への対応
４ 出現用語
５ おわりに
#08の、メガネをつくるためにセリオンを抽出するという話に似ていると思ったら、同じ大学の研究成果であった。
個人の身体的特徴を数量的に把握できるようになれば、衣料品等の生産分野だけでなく、監視等セキュリティ分野でも活躍しそうである。
６ 今後調査したい事項
【論文100本ノックの79】コンピュータグラフィックスによる顔の老化の表現に関する研究
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の79本目として、和文2ページの本論文を読む。
３ 対象論文と要約
3.1 対象論文
コンピュータグラフィックスによる顔の老化の表現に関する研究
及川雄揮, 平石宏典, and 溝口文雄 東京理科大学
第 66 回全国大会講演論文集 2004.1 (2004): 217-218. 2004
3.2 研究内容
（社会的ニーズ）
美容や医療、映像産業等で顔の廊下への関心が高まる中で、個人の老化した顔を正確に表現する有効な手段に対するニーズがある
（提案手法）
個人の顔の廊下モデルを自動的に構築し、CGを用いて個人の顔の廊下を表現できるシステムを開発する
3.3 従来の問題点と解決法
・様々な年代の人の顔写真から、主成分分析を用いて外見の年齢に関与する顔形状特徴を抽出し、老化や若返りを表現
→解剖学的根拠に欠ける
3.4 提案手法（１）システム設計
ア 対象人物の撮影
眉や瞳孔など黒色部分で欠損が生じたデータが得られる
イ 表情筋ポリゴンモデルの構築
欠損データを、表情筋モデルをもとに再構築する
ウ 形態老化処理
村上らの研究成果をもとに、老化による顔形状変化を再現
エ 色老化処理による出力
明度低下や黄色化などの処理を再現
3.5 検証実験
提案手法を20代男性3名に適用し、60代程度に老化させた。
「たるみ」や肌色変化が確認できた。
3.6 今後の検討
・老化モデルの妥当性の検証
・「しわ」「くすみ」などの老化表現を追加し再現度を高める
４ 出現用語
５ おわりに
結果に関しては、60代と捉えるには全体的に若々しかった。
多少たるみや肌色変化は出ているとは言うが、それはそうなるようにプログラムしたのだから、そうなって当然という話である。
今後の検討にあるとおり、妥当性の検証が必要だろう。
６ 今後調査したい事項
本提案に関し妥当性を検証した論文
【論文100本ノックの78】私の研究開発ツール―第11回―ログ蓄積ツール RRDtool の記録を gnuplot で描画する方法
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の78本目として、和文4ページの本論文（記事）を読む。
３ 対象論文と要約
3.1 対象論文
私の研究開発ツール―第11回―ログ蓄積ツール RRDtool の記録を gnuplot で描画する方法
伴好弘 神戸大学
映像情報メディア学会誌: 映像情報メディア 62.5 (2008): 717-720. 2008
http://ci.nii.ac.jp/naid/110006855213/en
3.2 研究内容
（社会的ニーズ）
なし。
（提案）
RRDtoolを使う た め の 基本的な方法およびgnuplotで描画するを紹介する
3.3 ツールの概要
（１）概 要
・RRDtool(Round Robin Dataset Tool)は、時間軸に沿ったログの蓄積とグラフ生成のためのプログラム
・名前のとおり、RoundRobinというリングバッファのような構成であり、データ総量が一定
→瞬時の情報記録には不向きだが、長期運用時のデータ取得に適している
・グラフ作成機能を備えており、任意の範囲を2次元グラフとして出力可能
・一般的対象：ネットワークのデータ流量、メモリ使用量、CPU負荷等
・拡張対象：電界強度や気温、速度など、時系列的に変化するデータ
・通常はフロントエンドアプリケーションの裏に隠れている
（２）記録アルゴリズム
ア 一定間隔で入力されたデータを纏める
イ 集まったデータ群から指示に従って、平均値や最大・最小値を計算し、データベースを更新する
ウ 上記の動作を設定された個数記録する。領域終端まで来ると最も古い記録を上書きしていく
（３）データの描画と呼び出し
・pngフォーマットの画像として出力
・3次元的に描画したい場合、gnuplotと連携させる
４ 出現用語
リングバッファ
５ おわりに
点群処理を何かの観察に使用する場合、時系列に沿った点群データを取得することになる。
それらに何らかの点群処理を施し、データを得ることになるが、その解析にはツールを用いる必要がある。
RRDtoolは、データ総量が有限という特徴から、警備監視やスマート農業観察等、定点観察が必要なものに向くかもしれない。
６ 今後調査したい事項
【論文100本ノックの77】私の研究開発ツール―第4回―Scilab による画像・映像処理
１ 目 的
点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。
２ はじめに
100本計画の77本目として、和文3ページの本論文（記事）を読む。
３ 対象論文と要約
3.1 対象論文
私の研究開発ツール―第4回―Scilab による画像・映像処理
森岡一幸 明治大学
映像情報メディア学会誌: 映像情報メディア 61.10 (2007): 1443-1445.2007
3.2 研究内容
（社会的ニーズ）
なし。
（提案）
Soilabとそ の拡張パ ッ ケージで あ る Toolboxを利 用 した画 像 ・映像 処理 の 概略を紹介
3.3 ツールの概要
・高機能な行列演算フリーソフト
・類似ソフトMATLABとの互換性はない
・ボランティア開発のScilab用Toolboxにより、最適化計算、制御系設計、信号処理等に比較的容易に応用可能
（１）インストール
Scilab, Toolboxともに公式HPから入手可能
（２）Scilabによる画像処理
・SIP(Scilab Image Processing toolbox)が最も有名なToolbox
・フィルタリング、エッジ検出、閾値処理、カラー画像処理等が可能
・入出力、変換、表示等は、ImageMagickの使用が前提
（３）画像／映像の入出力
・Toolboxを使えば、ファイル形式やデバイス差異を気にせずに利用できる
（４）GUI
・本体機能でも、メニュー、スライダ、ボタンなどのGUIを数行のプログラムで実現可能
・Toolboxを利用すれば、さらに多くの機能が利用できる。
４ 出現用語
５ おわりに
点群処理は、多くの行列計算を必要とする。
Scilabは行列計算用ツールであり、点群処理に応用可能かもしれない。
６ 今後調査したい事項
