PCLで点群処理

PCLで点群処理したあれこれを書いていきます。

【論文100本ノックの86】動領域・静止領域の確率的マッピングを用いた動的環境の認識-自律移動ロボットにおける自己位置推定への応用

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の86本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

動領域・静止領域の確率的マッピングを用いた動的環境の認識-自律移動ロボットにおける自己位置推定への応用

伊藤明久, 高橋桂太, & 金子正秀. 電気通信大学

第 74 回全国大会講演論文集 2012.1 (2012): 43-44. 2012

https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=109730&item_no=1&attribute_id=1&file_no=1

3.2 研究内容

(社会的ニーズ)

 なし。

(提案手法)

 距離情報から観測領域を同領域・静止領域として確率的にマッピングし、コのマップを利用して自己位置推定に有効なサンプル点群を選出することで、動的環境下においても頑健に自己位置を推定できる手法について述べる。

3.3 従来の問題点と解決法

・地図生成に占有グリッドマップを利用し、各グリッド点で時系列方向の物点の観測履歴を確立として保持する手法は、動いたり止まったりしている動物体の取扱いに問題がある

→その物点がどのような属性を持つ物体に属するかを確率的に記述するステップを導入する

3.4 提案手法

(1)動領域・静止領域の確率的マッピング

 ア 各フレームにおける距離情報からローカルマップを作成する

 ロボット周囲の距離情報を取得し、x-z平面にプロットする。

 x-z平面をグリッドに分割し、プロット市を中心とする2次元ガウス分布モデルにより、各グリッドにおける障害物の存在確率を求める

 同時に、その物点が属する物体が動く確率を求める

 イ ローカルマップを時系列で統合することで同領域・静止領域として確率的にマッピングし、グローバルマップを更新する

(2)周囲環境の変化の検出

 グローバルマップとローカルマップを比較することにより、ロボット周囲の環境の変化として動物体及び物体の除去を検出する。

 動物体追跡にはSIR\MCMCパーティクルフィルタを用いる

(3)自己位置推定

 地図生成及び周囲環境の認識の結果を用いて動的環境に対応した自己位置推定を行う。

3.5 検証実験

 提案手法を屋内で実践した。

 ドアの開閉を検知してドア外にでたり、対抗歩行者に影響されることなく自己位置推定を行ったりし、最終的に出発地点に帰還したことから、概ね成功と言える。

 ただし、自己位置推定の誤差で、隣り合う2室が繋がって誤認識されている例もあった。

3.6 今後の検討

・動物体の追跡をもとに、ロボットが周囲の物体に対して衝突を回避できるようにする

4 出現用語

  

5 おわりに

 ロボットにとって、動物体と静止物体がそれぞれどの用途に重要かがよく整理されていて分かりやすかった。

 地図生成においては、動物体の影響を逐次反映する必要がある。

 自己位置推定においては、静止物体を基準とし、動物体を排除する必要がある。

6 今後調査したい事項

 

【論文100本ノックの85】意匠設計を考慮した不規則点群からの 3 次元モデル再構成

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の85本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

意匠設計を考慮した不規則点群からの 3 次元モデル再構成

大久保隆, & 渡辺大東京工科大学

第 66 回全国大会講演論文集, 2004(1), 161-162. 2004

https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=170323&item_no=1&attribute_id=1&file_no=1

3.2 研究内容

(社会的ニーズ)

 なし。

(提案手法)

 測定された不規則点群データから後の変形・操作が容易な、意匠設計を考慮した三次元モデルの再構成手法を提案する

3.3 従来の問題点と解決法

・従来のレーザーレンジスキャナによるデザイニングは、点軍艦に適切内装が設定されず、また超点数が多い為細かいメッシュにより再構成され、デザイナが想定した曲面がうまく再現されない

→意匠設計を考慮した再構成を行う

3.4 提案手法

(1)意匠設計の考慮

 デザイナの求める曲面を、対話的処理によりきれいな曲面を意識して半自動的に生成する

(2)不規則点群からの三角メッシュ再構成

 芹田によるボリューミング手法によりポリゴンモデルを再構成することで、鋭角な部位にも正確に参画メッシュモデルを構築する

(3)特徴稜線抽出

 以下の3つの評価関数を書く稜線で計算し、得られた評価値の合計がしきい値を超えたものを特徴稜線とする。

・頂点連続性

・近似ガウス曲率

・隣接面角度

(4)特徴稜線反映曲面フィッティング

 抽出した特徴稜線に自由曲面をフィッティングしていく。

 GarlandらのQEM手法によりポリゴン数及びメッシュの削減を行い、きれいなメッシュを再構成する。

 この際、特徴稜線およびそれに接続する稜線を消去対象から除くことd,絵形状の特徴を保つことができる。

 また、三角メッシュの四角形化において、デザイナが主要部分を手動でメッシュ結合を行ったあと、残りを自動処理する。

3.5 検証実験

 なし。

(※文中には「本手法を適用したアプリケーションにより有用性を確認した」旨記述されているが、具体的な話は一切なく、また実験画像等もない。)

3.6 今後の検討

・よりデザイナの移行を考慮した再構成手法の検討

4 出現用語

 

5 おわりに

 実験をしたという記述はあるが具体的な話はなく、また画像も1枚もない。

 全国大会にありがちな、学生発表の駆け込み企画に見切り発車で応募したは良いがデータが揃わなかったパターンか。

 アイデアだけ参考にしたい。

6 今後調査したい事項

 

【論文100本ノックの84】汎用イメージスキャナを用いた高精度三次元形状測定に関する研究

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の84本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

汎用イメージスキャナを用いた高精度三次元形状測定に関する研究

周藤一浩, 齋藤豪, 張英夏, & 中嶋正之 東京工業大学

情報処理学会第 69 回全国大会 6 (2007): 7. 2007

https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=173294&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8

3.2 研究内容

(社会的ニーズ)

 なし。

(提案手法)

 汎用イメージスキャナを用いた手軽かつ安価な高精度三次元最高性手法を提案する

3.3 従来の問題点と解決法

・従来手法では高価な3次元スキャナを用いているため、一般の人が手軽に利用できない

→汎用イメージスキャナを用いる

3.4 提案手法

(1)汎用イメージスキャナによる画像取得

 スキャナ面と対象物体の間に、一定間隔でCCDセンサに平行な縞パターンが複数印刷されたトラペアシートを挟んでスキャンし、生じた影幅を計測し、物体表面の深さを求める。

(2)影幅推定

 縞印刷トラペアと無印刷トラペア両方でスキャンし、陰影の差分を取得することで、安定的に影幅を推定できる。

(3)影幅情報からの形状表面の凹凸推定

 ア 適当な閾値を決め、あるx座標に対して仮の影境界のy座標を決定する

 イ 影領域と日陰領域の値をバイキュービック法によって4*4近傍の周辺ピクセルを用いて補間する

 ウ 補間値が閾値と一致する座標を求め、小数部分をy座標に追加する

(4)画像の統合

 (1)~(3)を複数回4方向から行い、精度を上げる。

 得られた点群座標を事前に作成した空間分割領域に当てはめ、領域内の中央値を取ることでノイズを除去する

(3)スキャナ特性によって生じる影を除去するテクスチャ合成手法

 影および鏡面成分を除去したテクスチャを生成した。

 ア 45度ずつ8方向から対象物体をテクスチャとして撮影し、回転・平行移動により座標を基準へと合わせる

 イ L値の大きすぎる点は鏡面成分、小さすぎる点は影成分と判断し、L値が設定した閾値以下(以上)の点を除去する

 ウ 同一座標のピクセル内を明度(Luv空間におけるL値)によってソートする

 エ 得られた同一座標の各メイド地において、L値の中央値をテクスチャとして取得する。

3.5 検証実験

(1)3次元復元

 旧1円硬貨に、従来手法と提案手法を適用した結果、従来手法では横縞が問題であったが、提案手法ではきれいに復元された。

(2)テクスチャ取得

 従来手法では鏡面及び影成分が残っているが、提案手法では除去された。

3.6 今後の検討

・反射パラメータの推定

4 出現用語

 ・CCDセンサ

http://www.coherent.co.jp/lmc/images/capdf/needs02.pdf

5 おわりに

 これまでの文献からも分かる通り、KinectやXtionが普及する前は3次元スキャナは高価であり、一般の利用が見込めない状況であったようだ。

 そんな中、(文書を読み込むような)普通のスキャナから3次元復元を考えていた人々がいたというのは、そのアイデアに敬服する思いである。

 こういう、限られたリソースからアイデアで問題を克服するというのが、研究の醍醐味の1つであるように思う。

6 今後調査したい事項

 

【論文100本ノックの83】位相限定相関法に基づく動画像からの高精度 3 次元復元とその性能評価

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の83本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

位相限定相関法に基づく動画像からの高精度 3 次元復元とその性能評価

山尾創輔, 酒井修二, 伊藤康一, & 青木孝文 東北大学

第 76 回全国大会講演論文集 2014.1 (2014): 213-214. 2014

https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=104668&item_no=1&attribute_id=1&file_no=1

3.2 研究内容

(社会的ニーズ)

 なし。

(提案手法)

 同画像から3次元復元に最適な画像を選択肢、高精度に3次元復元を行う手法を提案する。
 カメラの位置推定と同時に、対象物体の大まかな3次元形状を復元し、その形状に基づいて、詳細な3次元復元のためのフレームを選択する。そして、位相限定相関法(POC)に基づく対応付手法を用いて、高精度かつ密な3次元点群を復元する。

3.3 従来の問題点と解決法

 なし。

3.4 提案手法

(1)動画像のトラッキング

 POC(Phase-Only Correlation/位相限定相関法)に基づく対応付手法を用い、画像から検出された特徴点を追跡する

(2)疎な3次元復元

 5点アルゴリズムとkneipらの手法により、カメラ位置の推定と疎な3次元点群の復元を行う

(3)三角形メッシュモデルの生成

 疎な3次元点群をドロネー四面体分割し、グラフカットにより物体の粗い三角メッシュモデルを生成する

(4)密な3次元復元

 各三角形メッシュごとに、画像マッチングに適したフレームを選択し、密な3次元点群を復元する

3.5 検証実験

 猫と犬の置物に対して提案手法を適用し、3次元スキャナで取得した点群を真値として性能比較を実施した。

 その結果、従来手法よりも高精度かつ密な3次元点群を復元できることを確認した。

3.6 今後の検討

・なし

4 出現用語

 ・5点アルゴリズム

・Kneipらの手法

5 おわりに

 動画像から3次元物体を復元するという試みはたくさんあるように思う。

 ただ、大抵の場合、復元したい対象が決まってから撮影した動画で実験が行われており、また対象以外の情報も少なくなっている。

 画像処理のディープラーニングを推進したのは、ディープラーニング技術そのものというよりは、IMAGENET等の画像データベースである。

 もし点群処理技術を爆進させたいなら、同様の点群データベースが必要であるが、現在のところ、XtionやKinectが多少一般に広まったとは言え、2次元画像や動画ほど気軽に点群データを取得できる環境にはない。

 もし、一般人が気軽に撮影した動画から、人間なり車なり何らかの種類の点群を勝手に抽出してくれるアルゴリズムやソフトがあれば、点群データベースの作成も容易だろう。

 どこか金のある研究所に、でっかいデータベースを作ってもらいたい。

6 今後調査したい事項

 

【論文100本ノックの82】多視点距離データの統合による全方位モデルの作成

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の82本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

多視点距離データの統合による全方位モデルの作成

千葉紀之, 永田牧子, and 花泉慶應義塾大学

情報処理学会第 67 回全国大会 6 (2005): 1. 2005

https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=110495&item_no=1&attribute_id=1&file_no=1

3.2 研究内容

(社会的ニーズ)

 屋内の三次元情報の把握は、生活に密着した情報処理を行う上で非常に重要な役割を果たす

(提案手法)

 3次元計測により、複雑な前処理なしに、インテリア用品を仮想的に削除・再配置でき、さらに寸法計測や仮想インテリアの配置も行う。

3.3 従来の問題点と解決法

 なし。

3.4 提案手法

(1)制約

 ・屋内の反射屈折する物体な組内しない空間を扱う

 ・壁は90°ごとに変化し、斜めの壁はない

 ・カメラは横に傾かない

 ・カメラは前後移動のみ

(2)手順

 ア 壁の抽出と追跡

  法線と距離および「壁らしさ」パラメータが条件を満たす点を壁Aの厚生点として抜き出し、それに直角な壁を壁B、壁Cとして抜き出す。

 イ インテリア用品の選択と移動処理

 ユーザが画面内で指定した範囲にある点群の内、壁以外のものをインテリア用品として認識し、移動可能にする。

 ウ 位置情報の追跡処理

 カメラの角度と位置を計算し、これに応じてインテリア用品を描画する

 エ インテリア用品の計測

 幅、高さ、奥行きを座標変換により求める

 オ 仮想インテリア用品の挿入

 事前に用意したデータを空間に描画する。

3.5 検証実験

 Kinectで取得した点群に提案手法を適用し、期待通り動くことを確認した

3.6 今後の検討

・位置追跡アルゴリズムの精度向上

・背景の塗りつぶし

・インテリア用品の描画の高品質化

4 出現用語

 

5 おわりに

 VR利用の1つに、「まだ完成していない空間の仮想体験」がある。

 これにより、実動作を伴う不具合を視覚的に検証し、着工前に洗い出すことが可能である。

 本システムはタブレットやノートPCを用いているが、VRゴーグルを掛けたまま各種操作ができる代替手段があれば、非常に面白そうである。

6 今後調査したい事項

 

【論文100本ノックの81】3D レーザースキャナから得られた点群データのクラスタリングによる坑道壁面の亀裂抽出法

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の81本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

3D レーザースキャナから得られた点群データのクラスタリングによる坑道壁面の亀裂抽出法

松川瞬, 板倉賢一, and 鈴木幸司 室蘭工業大学

第 77 回全国大会講演論文集 2015.1 (2015): 449-450. 2015

https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=164414&item_no=1&attribute_id=1&file_no=1

3.2 研究内容

(社会的ニーズ)

 高レベル放射性廃棄物の地層処分事業の地下施設総延長は200kmにもなるため、現状の地質専門家による坑道壁面の地質観察から省力化が求められている。

(提案手法)

 3Dレーザースキャナを用いた坑道壁面の割れ目形状検出法を提案

3.3 従来の問題点と解決法

 なし。

3.4 提案手法

(1)取得点群の平行移動・単位変換

 設計上の採掘断面に投影し、平面上に展開。単位をmm似直す

(2)空間分割・面フィッティング

 DiAnaアルゴリズムにより、点群が存在する空間をサイコロ状に分割し、最小二乗法で面フィッティングする

(3)クラスタリング

 面フィッティングにより得られた法線と各点座標を用い、クラスタ重心の重心を用いたクラスタリングを行う

(4)割れ目面データ・可視化データ出力

 法線を利用し、壁面と割れ目候補を分別する。

3.5 検証実験

 日本原子力研究開発機構瑞浪超深地層研究所・深度300mアクセス坑道に本手法を適用した。

 ズレ・検出漏れはあったが、概ね実際の損傷箇所と重複した。

 しかし、ノイズが多い、割れ目の連続性がうまく得られない、数的評価がなされていないなどの問題点が多数ある。

3.6 今後の検討

・問題点への対応

4 出現用語

 

5 おわりに

 メンテナンス社会において、亀裂検出は重要な特徴である。

 平面を探索する特徴量として、法線は非常にわかりやすい特徴量である。

 しかし、亀裂を探索する特徴量として、法線はあまり良い特徴量とは思えない。

 なぜなら、「大量の点群の法線が同一方向を向く」というのは、偶然ではあまり考えられないことであり、平面と認めるに値する状況であるが、「平面と異なる方向の法線が少数存在する」というのは、亀裂以外にもノイズであったり付着物であったりと他の可能性も考えられるからだ。

 とかく点群の特徴量といえば法線ばかり取り沙汰されるが、他の特徴量はないものか。

6 今後調査したい事項

  法線以外の特徴量

【論文100本ノックの80】足部点群データからの基準の解剖学的特徴点の抽出

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の80本目として、和文2ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

足部点群データからの基準の解剖学的特徴点の抽出

高橋瑛逸, 矢原弘樹, 水野一徳, 三谷純, 西原清一, & 福井幸男 筑波大学

情報処理学会第 68 回全国大会, 7, 2. 2006

https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=172567&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8

3.2 研究内容

(社会的ニーズ)

 個人の身体に適合した靴を提供するため、個人の身体形状データを点群データから正確に取得するシステムの需要がある。

(提案手法)

 3時減速部モデルの座標定義用基準点を身体表面形状の点群データから抽出する

3.3 従来の問題点と解決法

 なし。

3.4 提案手法

(1)前提条件

 ア XY平面は既知

 イ 踵点の位置も既知

 ウ MT(脛側中足点=第一指中足骨頭のY方向最内点に最も近い形状点),MF(腓側中足点=第五指中足骨の最外点に最も近い形状点)の位置推定を行う

(2)処理の手順

 ア 形状点群データ入力

 イ 回帰式の算出

 サンプルモデルを重回帰分析し、指先端点のX座標からMT/MFのX座標を推定する重回帰式を算出する

 ウ 指先端点の抽出

 イの形状情報をもとに抽出

 エ MT/MFのX座標値を推定

 ウを説明変数とし、イの回帰式によりMT/MFのX座標値を推定

 オ MT/MFのY座標値を推定

 エのx座標を持つ足底点群の輪郭線の内、最小のy座標を持つものが該当

 カ MT/MFのZ座標値を推定

 算出済みx,y座標を持つ最大のz座標が該当

 キ 解剖学的特徴点の出力

3.5 検証実験

 提案手法を40名分実施した。

 推定誤差は4mm±1mm程度と大きかった。

 考えうる原因と対策は以下のとおり。

・説明変数の不足→説明変数を増やす

・撮像時指姿勢

・特徴的な足→例外的モデルの排除

・スキャナ誤差

3.6 今後の検討

・誤差要因への対応

4 出現用語

 

5 おわりに

 #08の、メガネをつくるためにセリオンを抽出するという話に似ていると思ったら、同じ大学の研究成果であった。

 個人の身体的特徴を数量的に把握できるようになれば、衣料品等の生産分野だけでなく、監視等セキュリティ分野でも活躍しそうである。

6 今後調査したい事項