PCLで点群処理

PCLで点群処理したあれこれを書いていきます。

【論文100本ノックの59】私の研究開発ツール―第 3回―OpenGL

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の59本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第 3回―OpenGL

床井浩平 和歌山大学

映像情報メディア学会誌 61.9 (2007): 1307-1310. 2007

http://ci.nii.ac.jp/lognavi?name=nels&lang=en&type=pdf&id=ART0008782398

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 OpenGLの紹介

3.3 ツールの概要

 プラットフォーム非依存のグラフィックハードウェアAPI

(1)OpenGLGLUT

 OpenGLに含まれない、マウス位置取得やウィンドウ開閉等は、GLUT(OpenGL Utility ToolKit)を用いて実装する必要がある。

 また、GLUTは主要OS間でソースコードレベルの互換性を持つものの、本来OpenGLの学習用ツールであり、本格的なGUIアプリ開発には不向き。

(2)GLUTを使った簡単なOpenGLプログラム

(3)2次元図形の描画

 色を指定した後、3頂点を指定することで、ポリゴンを生成

(4)座標軸とビューポートの設定

 glOrtho()関数で初期化することで、表示範囲が変わる。

(5)3次元図形の描画

 GLUTには簡単な立体形状を描く関数が用意されている

(6)視点の移動

 gluLookAt()関数で、視点の位置や視線の方向を直接指定できる

(7)透視変換

 gluPerspective()関数で、カメラパラメータを用いて指定可能

(8)陰影付け

 glutSolidCube()関数で、線画から面構成の立方体に変化させる

(9)隠面消去

 デプスバッファ法で隠面消去処理を行う

4 出現用語

 

5 おわりに

 ARToolKitに続き、OpenGLの紹介記事。

 OpenGLGLUT)の使い方をざっと紹介している。

 描画処理の流れについては、CGエンジニア検定用の参考書が詳しい。

 他のシェーダ(DirectXやCg)等についても調査したい。

6 今後調査したい事項

  「私の研究開発ツール」シリーズ

【論文100本ノックの58】私の研究開発ツール―第 7 回―ARToolKit

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の58本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第 7 回―ARToolKit 加藤博一

奈良先端科学技術大学院大学

The Journal of The Institute of Image Information and Television Engineers, 62(1), 48-51. 2008

http://ci.nii.ac.jp/lognavi?name=nels&lang=en&type=pdf&id=ART0008782838

 

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 ツールの紹介

3.3 ツールの概要

 C言語APIとして提供されている小さなツール。

 四角いマーカに重畳表示することで、拡張現実を作成

(1)画像入力と表示

 基本的にGLUTのイベント駆動処理を採用。

 事前にカメラキャリブレーションを行うことで、自動で歪み補正が動作

(2)マーカ検出処理

 マーカ内部の模様で個別認識可能

 入力画像を日化し、マーカ候補を抽出することで識別

 識別マーカを座標変換し、3DCGを表示する。

(3)3DCGの描画

 基本的にOpenGLの作法に従って描画する。

4 出現用語

 GLUT

5 おわりに

 Bundlerに続き、ARToolKitの紹介記事。

 点群研究の中に、SARを研究するものがあったが、これを簡単にできないかと期待して読んでみた。

 どうやら2次元画像ベースのマーカ検出のため、点群処理に直接は適用できないようだが、いじればなんとかできるのかどうか。

 様々な演算をOpenGLが担当しているため、OpenGLについて理解を深める必要があるかもしれない。

6 今後調査したい事項

  「私の研究開発ツール」シリーズ

【論文100本ノックの57】植物機能リモートセンシングとフェノミクス研究への展開

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の57本目として、和文5ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

植物機能リモートセンシングとフェノミクス研究への展開

大政謙次 東京大学

学術の動向 21.2 (2016): 2_72-2_76. 2016

http://jlc.jst.go.jp/DN/JLC/20022819176?from=Google

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 リモートセンシングによる構造や機能の計測例

3.3 ツールの概要

(1)ヘリコプターLIDARによる杉林の3次元計測

(2)熱赤外画像からの熱収支計算による気孔コンダクタンス計測

(3)クロロフィル蛍光画像からNPQとΦPIIの算出

4 出現用語

 

5 おわりに

 10年近く前のスマート農業の研究まとめ論文を以前に読んだが、少し情報が古いので新しい情報を読みたいと考えていた。

 今回は新しい情報であり、特にどんなセンサーでどんな情報が取れるかがわかり、有益だった。

 ただ、そんな特殊なプラットフォームはもっていないので、活用できる機会はないだろうが・・・

6 今後調査したい事項

  

【論文100本ノックの56】私の研究開発ツール第16回:Bundler

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の56本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール第16回:Bundler

満上育久 大阪大学

映像情報メディア学会誌 65.4 (2011): 479-482. 2011

https://www.jstage.jst.go.jp/article/itej/65/4/65_479/_article/-char/ja/

3.2 研究内容

(社会的ニーズ)

 なし。

(提案手法)

 

3.3 ツールの概要

(1)Bundler

 複数画像からSFMを行うオープンソースプログラム

(2)MeshLab

 Bundlerの実行結果のビューアとしても使用できる高機能な3次元データ表示・編集ソフト

(3)PMVS2

 Bundlerの結果をもとにMulti-view Stereoを行い密な3次元形状復元を行うプログラム

4 出現用語

 

5 おわりに

 研究では様々なツールを使用するが、導入に時間や手間がかかるので、そこまで安易に試す気にはならない。

 しかし、この記事のように、ツールの概要や導入方法、ツール間の連携方法や使用法まで書いてあり、ほぼマニュアル化されていれば、かなり気軽に手が出せる。

 ツールが増えるということは、研究の幅が広がることにつながる。

 3次元点群を取得する方法として、最近はKinectやXtionが一般化しているが、2次元画像からSfMで取得する方法も古典的手法として知られている。

 これを簡単に試せるのであれば、非常にありがたい。

6 今後調査したい事項

  「私の研究開発ツール」シリーズ

【論文100本ノックの55】三角測量方式の距離画像カメラによる光の屈折を利用したカップ内の液体の発見

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の55本目として、和文8ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

三角測量方式の距離画像カメラによる光の屈折を利用したカップ内の液体の発見

原祥尭, 本多史人, 坪内孝司, & 大矢晃久 筑波大学

http://130.158.125.241/~ohya/pdf/Robosym2014-HAR.pdf

3.2 研究内容

(社会的ニーズ)

 

(提案手法)

 様々な透明度の液体に対して測定結果を定量的に評価し、測定した形状がどのように変化しているかを調査した

3.3 従来の問題点と解決法

・従来の透明物体認識に関する研究は、対象が固体に限られている

→光の屈折を利用し、無色透明の液体の認識を行う。

・従来の液体による光の屈折を利用した物体認識に関する研究は、水中の物体を対象としていた

→液体そのものの認識を行う。

・従来の液体を認識する研究は、容器の底面が既知の模様であることを前提としている

→底面を条件としない

3.4 提案手法

 コップに透明な液体が入っていると、底面が浮き上がって測定されることを利用し、以下の手順で液体を判別する

(1)入力点群からの机平面の除去

 RANSACで机平面を判別し、机平面を除去する

(2)抽出した物体のセグメンテーション

 机上の物体を個々に識別する

(3)カップ認識

 カップの幅、高さで除外した後、最小二乗法およびICPを用いて、カップを認識する

(4)液面/底面の抽出

 カップ内の液面/底面を抽出する

(5)液体の有無の判定

 

3.5 検証実験

(1)カップ認識

 提案手法と従来のFPFH特徴量+SAC-IAアルゴリズムを用いたカップ認識の比較実験を行った。

 提案手法が75%、従来手法が20%であり、提案手法が有利であった。

 失敗の原因は、カップと他の物体が同一セグメントと認識されたことにあり、セグメンテーションの改良や複数角度からの測定で対処できると考えられる。

(2)液体発見

 カップが空である状態では8回中1回失敗したが、他は全て成功した。

3.6 今後の検討

・ToF方式の距離画像カメラで液体を測定した際の減少の調査

・カップの認識率の向上

・ロボットが自律的に移動しながらのカップと内部の液体の発見

4 出現用語

 

5 おわりに

 コップ底面のパターンが既知でなくてよい液体認識だが、コップのサイズが既知でないといけないのでは、汎用性は薄い気がする。

 とはいえ、液体の認識だとか、透明な物体の認識だとか、正直に言えば「認識できないもの」と思い込んでいたものを認識しようという研究が多数存在したことは、自身の思考停止を窘められたような、目からウロコの思いであった。

6 今後調査したい事項

 

【論文100本ノックの54】産業用無人ヘリコプタを適用した圃場環境のモニタリング

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の54本目として、和文4ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

産業用無人ヘリコプタを適用した圃場環境のモニタリング

野口伸 北海道大学

農業機械學會誌 65.4 (2003): 13-17 2003 

https://www.jstage.jst.go.jp/article/jsam1937/65/4/65_4_13/_article/-char/ja/

3.2 研究内容

(社会的ニーズ)

 精密農業において、無人ヘリコプタ(UAV)を利用したセンシングは重要である。

(提案)

 北海道大学農学研究科の研究を紹介するとともに、ヘリコプタベースリモートセンシングの発展方向について論じる

3.3 概要

(1)ヘリコプタの利用価値

 梅雨時の稲作生育情報など、悪天候でも利用可能

 発着場所を問わない

(2)産業用UAVによるセンシング

 ア マルチスペクトラムビジョンセンサ

  光学センサを利用し、透過波長から作物と土壌の識別や、作物のストレス状態などをリアルタイムで知ることができる

 イ 作物生育状態のモニタリング

  画像を幾何変換し、圃場をマッピングできた

(3)地形マップの生成

  RTK-GPSによる慣行法では約2.5時間かかるが、UAVベースでは約10分で測量できた

(4)ヘリコプタベースセンシングの今後の方向性

 ア 衛星画像との統合化

   衛星画像はマクロな情報取得が可能だが、タイムリネスに欠けるため、UAVベースの適時詳細情報を利用して補完する必要がある。

 イ ナビゲーション自動化

   コスト的問題があるが、必要。

   ただし、過渡技術でも十分有用。

4 出現用語

 

5 おわりに

 スマート農業関係で点群の話が出ると思って読んだが、点群的要素がほぼない論文であった。

 14年前の記事であるため、現状はかなり変化している。

 ヘリコプタの無人化は非現実的であるかのような書きぶりであったが、現在ではUAVはホビーレベルまで汎化している。

 もしこの分野で研究するのであれば、これを基礎の基礎にあたる知識として、あらたな知識を仕入れなければならない。

6 今後調査したい事項

  最近のスマート農業関係論文

【論文100本ノックの53】3 次元計測に基づく大規模点群処理の課題と技術動向

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の53本目として、和文4ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

3 次元計測に基づく大規模点群処理の課題と技術動向

増田宏 電気通信大学

精密工学会誌 79.5 (2013): 384-387. 2013

https://www.jstage.jst.go.jp/article/jjspe/79/5/79_384/_article/-char/ja/

3.2 研究内容

(社会的ニーズ)

 メンテナンス社会に突入した我が国では、3次元計測と大規模点群処理は、メンテナンスを支援するための有望な技術である。 

(提案手法)

 大規模点群処理について、現在までに何がどこまでできたのかについて論じる。

3.3 概要

(1)大規模環境からの点群取得

 ア 固定式レーザスキャナ

  ・飛行伝搬時間方式

   …パルス発行させたレーザ光を用いる

  ・位相差方式

   …変調させたレーザ光を連続的に照射して距離を計測する

 イ 移動計測

  GPS+IMUで、計測した座標を緯度経度等の大域的な座標系に変換

(2)工場・プラントを対象とした点群処理

 ア 研究の方向性

  ・既存のCAD等の入力に合わせて点群データをメンモデルや立体モデルに変換し、作業系統のシミュレーションなどは既存システムに任せる。

  ・高密度な点群による形状表現に基づいた新しい生産支援システムを構築

 イ 研究の現状

 (ア)近傍探索

   ・KDツリー

   ・億ツリー

 (イ)前処理

   ・移動最小2情報による平滑化

   ・ロバスト推定(Tukeyバイウェイト法など)

 (ウ)セグメンテーション

   ・主成分分析

    …主成分方向と固有値の比を用いてグループ化

   ・連結成分を用いる方法

    …距離が閾値以内なら同じグループ

   ・曲面検出を用いる手法

    …RANSAC法等を用いる

  (エ)曲面検出

   ・領域成長法

   ・RANSAC

   ・規格値に合わせて寸法値を調整する方法

   ・工場部材は垂直または平行に配置されていることが多いという前提を用いた手法

 ウ 今後の研究課題

 (ア)面の連結による形状再構成

   もとの物体の形状を再構成する手法は未確立

 (イ)形状の規則性を利用した形状再構成

   対象物が非常に限定されている

 (ウ)パターン認識を用いた形状再構成

   対象物が非常に限定されており、誤認識も多い

 (エ)レジストレーション

   大規模な点群の短時間、高精度、全自動での位置合わせは困難

 エ 研究の方向

 (ア)道路周辺の地物の種別と位置

 (イ)路面やトンネルなどの現況や劣化

 (ウ)ガードレールや標識などの現況や劣化

 オ 研究の現状と研究課題

  ・分離した点群からの地物の種別の同定

   …どのような特徴量が有効化についてはまだ研究の余地がある。

  ・レジストレーション(移動計測)

   …座標値や特徴量などに基づいて点群位置を補正する手法はまだ提案されていない

4 出現用語

 

5 おわりに

 大規模点群処理に関する研究動向がまとめてあった。

 研究においては、自身の研究と同じくらい、他人の研究を調査する必要がある。

 これがひとところにまとまっていると、非常に労力を削減することができる。

 4年前の記事なので、また状況も変わっているだろうが、過去何十年も遡らなくてよいという点では、非常に有用であった。

6 今後調査したい事項

  最近4年間の研究動向