PCLで点群処理

PCLで点群処理したあれこれを書いていきます。

【論文100本ノックの76】私の研究開発ツール―第19回―歩容データベース

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の76本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第19回―歩容データベース

槇原靖 大阪大学

映像情報メディア学会誌: 映像情報メディア 63.1 (2009): 55-58. 2009

http://ci.nii.ac.jp/els/110007009011.pdf?id=ART0008928010&type=pdf&lang=en&host=cinii&order_no=&ppv_type=0&lang_sw=&no=1490402898&cp=

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 対象者がカメラから遠く離れた場所でも利用可能な歩容認証の性能評価用の公開データベースを紹介

3.3 ツールの概要

・歩き方のくせに基づいて個人認証する「歩容認証」のための、歩容データのデータベースが公開されている。 

・幾つかのデータセットでは、複数方向(最大11方向)から画像取得している

4 出現用語

 

5 おわりに

 歩容認証は、画像処理分野でもセキュリティ応用がされている「使える」技術として認知度が高い。

 しかし、歩行などの動作は3次元的であるため、本来2次元画像よりも3次元点群のほうが処理しやすいのではないかと思う。

 今回紹介された歩容データは、基本的には2次元画像での提供だが、同時複数方向から画像を取得しているものもあるようなので、3次元復元が可能と考えられる。

 そうすれば、点群処理による歩容研究も可能ではないか。

6 今後調査したい事項

 

【論文100本ノックの75】私の研究開発ツール―第25回―3ds Max SDK

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の75本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第25回―3ds Max SDK

関根真弘 (株)研究開発センター

映像情報メディア学会誌 63.7 (2009): 931-934. 2009

http://ci.nii.ac.jp/naid/110009669551/en

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 3ds Maxの概要とSDKによるプラグイン開 発について説明する

3.3 ツールの概要

 幅広い業界で利用されている3次元CG制作ツール

 頻繁に機能拡張され、また、独自スクリプトを用いた開発も可能

(1)3ds Max SDKによるプラグイン開発

オブジェクト指向プログラミングライブラリーとしてSDKが用意されている

Microsoft Visual C++においてDLLとして読み込むことで、以下のような機能結合や拡張が可能

 ・編集モディファイアプラグイン

 ・環境効果プラグイン

 ・マテリアルプラグイン

 ・画像処理プラグイン

 ・レンダラプラグイン

 ・音響プラグイン

 ・ファイルインポートプラグイン

 ・ファイルエクスポートプラグイン

(2)高次元テクスチャ技術のプラグイン

 高次元テクスチャ技術とは、複数のカメラ・光源条件で取得したテクスチャの集合のことであり、これを扱うためのプラグインも作成可能  

4 出現用語

 

5 おわりに

 点群データは様々な捉え方があるが、その切り口の1つとしてCGがある。

 多くのCGツールでは、一般的な面(ポリゴン)表示に加え、線(ワイヤーフレーム)表示、点表示がある。

 つまり、CGを点群化することもできるし、点群をCG化することも、原理的には可能であると言える。

 点群をビューアで直観的に操作するツールはあまりないが、CGツールはそもそもそのような用途で開発されているため、容易に操作できる。

 点群データの加工・修正に使用できればと読んでみたが、説明の多くはポリゴンという、CG→点群の過程でオミットされる部分に割かれていたため、あまり役には経たないかもしれない。

6 今後調査したい事項

 

【論文100本ノックの74】私の研究開発ツール―第29回―サポートベクターマシン関連ツール SVMLight, LIBSVM, SHOGUN

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の74本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第29回―サポートベクターマシン関連ツール SVMLight, LIBSVM, SHOGUN

柳井啓司 電気通信大学

The Journal of The Institute of Image Information and Television Engineers 63.12 (2009): 1778-1781. 2009

http://ci.nii.ac.jp/naid/110009669470/en

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 SVMオープンソースソフトウェアとして SVMlight,LIBSVMの二つを解説し,MKLのオープ ンソースソフトウェアとして機械学習ライブラリー SHOGUNについて解説する.

3.3 ツールの概要

(1)SVMLight

・線形カーネルを用いた場合、処理が高速

・半教師あり学習transductiveSVMにも対応

データ形式は、スパースなベクトル形式

(2)LIBSVM

・通常の2クラス分類に加え、回帰、他クラス分類、外れ値検出に利用可能な1クラス分類にも対応しており、多機能

(3)SHOGUN

機械学習オープンソースコードと組み合わせる

・様々な言語から利用可能

・頻繁にバージョンアップされる

(4)その他

 画像処理のみならず、豊富な数学関数・行列演算関数も実装されている。

 

4 出現用語

 

5 おわりに

 研究者の思いついたアイデアを形にすることで成果が出るというのが、研究の基本であると考える。

 その際、アイデアは良いはずなのに、試作品が思うような結果を出してくれないことがある。

 その多くは、パラメータ設定が適切でないなどの問題であるが、適切なパラメータは理論的に説明するよりも総当り的にやってから理論づけしてやったほうが、効率的でありまた実例を伴っているため信憑性も高い。

 しかし、効率的とは言え、試すパラメータ数によっては労力はばかにならないため、自動化を図ろうと考えるものである。

 その際、機械学習は良きツールとなってくれそうである。

6 今後調査したい事項

 

【論文100本ノックの73】私の研究開発ツール―第5回―動画像処理ライブラリーOpenCV

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の73本目として、和文4ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第5回―動画像処理ライブラリーOpenCV

永田雅人 横浜国立大学

映像情報メディア学会誌: 映像情報メディア 61.11 (2007): 1602-1605.

http://2007 http://ci.nii.ac.jp/naid/110006854681/en

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 OpenCVについて解説する。

3.3 ツールの概要

 Intel開発の無償画像処理ライブラリー集

 

(1)機能概要

 ア 画像の基本構造と操作

 イ 画像解析

 ウ 構造解析

 エ 物体認識

 オ 動き解析と物体追跡

 カ 3次元再構築

(2)使用例

・二値化

・ぼかし

メディアンフィルタ

・エッジ検出

オプティカルフロー検出

・顔検出

・手と背景の分離

(3)画像処理関数

(1)算 術 演算 、論理 演算 :加 算 ,減 算 ,乗 算 ,シ フ ト, 自乗 ,ス ケーリ ン グ,理 論積 論理 和 排他 的論 理 和 ,Alpha 合 成 ,lsGreater,IsEqual,IsLess

(2 )フ ィ ル タ リ ン グ : ぼか し ,Prewitt (プ レ ビ ッ ト), Sobel(ソ ーベ ル),Laplacian(ラ プラ シ ア ン ),2D たたみ 込 み ,中央 値 フ ィ ル タ ,最大 値 フ ィ ル タ ,最 小値 フ ィ ル タ

(3 )変換 :DCT ,FFT

(4 )モ ーフ ィ ン グ : Erode ,Dilate,Open ,Crose

(5 )カラ ー ・ス ペ ース 変換 :D 旧 (.bmp ),Eヨ黒二 値/グ レース ケ ール ,グ レース ケ ール /カ ラ ー,HLS ,HSV ,OIELab (XYZ )、OIELUV ,YUV ,YCrCb , カ ラーツ イス ト,ビ ッ ト ・デ プス

(6 )ポ イ ン ト処 理 : T 閾 値 ,コ ン トラ ス ト強調 ,ヒ ス ト グラ ム の イ コ ラ イ ズと計算 ,カラ ー ・ツ イス ト

(7 )イメージ統計 :モ ーメン ト,ノル ム,MSE

(8 )ジ オメ トり計 算 :ズーム ,間引 き ,回転 ,ミ ラ ーリ ン グ ,シ ア ー,ア フ ィ ン 変換 、投 影 変 換 ,リマ ッ ピ ン グ ,Decimate and filter

(4)その他

 画像処理のみならず、豊富な数学関数・行列演算関数も実装されている。

 

4 出現用語

 

5 おわりに

 OpenCVは、2次元画像処理ツールであるため、点群処理に直接役立つわけではない。

 ただ、KinectやXtionでは点群とともに各点に対応付けられたピクセルが得られるし、つくばチャレンジ等のロボットでは、点群処理と画像処理の併用例が見られる。

 人間の視覚に置き換えて考えると、点群は距離「感」を距離「情報」として使用できるが、やはり人間の視覚は画像的であるから、その再現には2次元画像処理は不可欠に思える。

 おそらく今後は、3次元点群と2次元画像それぞれの処理技術を融合させてより人間の視覚に近い処理を再現することが重要になるだろうから、知っていおいて損はないツールだろう。

6 今後調査したい事項

 

【論文100本ノックの72】私の研究開発ツール―第 32 回―FFmpeg

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の72本目として、和文3ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第 32 回―FFmpeg.

筒口拳 NTTサイバーソリューション研究所

The Journal of The Institute of Image Information and Television Engineers 64.3 (2010): 315-317. 2010

https://www.jstage.jst.go.jp/article/itej/64/3/64_3_315/_pdf

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 FFmpegについて解説する。

3.3 ツールの概要

(1)入手方法

 ソース配布形式のため、自力コンパイルかOS対応パッケージ管理ツールを用いるか、実行可能プログラムを入手する

(2)使用例

コマンドラインのオプションを調べる

・サポートしているフォーマットを調べる

・複数の静止画像を動画像に変換する

・動画像を静止画像に変換する

・単純なコピー

・戦闘から6秒の位置から長さ3秒だけ切り出して出力する

・あるフォーマットの動画像を他のフォーマットに変換する

・ビデオのビットレートを64kbpsに変更する

・フレームレートを24fpsに変更する

・同画像や静止画像を表示・再生する

(3)ライセンス

 特許アルゴリズムが使用されている可能性が否定しきれないため、商用ソフトへの組み込みには注意を要する

4 出現用語

 

5 おわりに

 PCLには、描画結果を静止画出力するコマンドがある。

 連続した描画結果を動画化するためには、FFmpeg等を用いる必要がある。

 研究している本人にとっては、動画化しなくとも十分に理解できることでも、他の人には動画化することで非常にすんなり理解してもらえることが多々ある。

 ぜひ使っていきたいツールである。

6 今後調査したい事項

 

【論文100本ノックの71】つくばチャレンジにおける屋外ナビゲーションシステムの問題分析と基本設計

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の71本目として、和文9ページの本論文を読む。

 

3 対象論文と要約

3.1 対象論文

つくばチャレンジにおける屋外ナビゲーションシステムの問題分析と基本設計

友納正裕, 吉田智章, 入江清, & 小柳栄次 千葉工業大学

日本ロボット学会誌 30.3 (2012): 262-270. 2013

http://ci.nii.ac.jp/naid/130002152234/

3.2 研究内容

(社会的ニーズ)

 なし。

(提案手法)

 つくばチャレンジにおける屋外ナビゲーションシステムの開発/設計について、筆者らのシステムを例に考え方や知見を述べる。

3.3 従来の問題点と解決法

3.4 提案手法

(1)(3Dセンサによる)自己位置推定

 基本的にジャイロオドメトリにより自己位置推定を行う。

 また、3次元点群データを地面に射影して2次元化した占有格子地図も作成し、マップマッチングやパーティクルフィルタを用いて誤差修正を行う。

(2)カメラによる自己位置推定

 魚眼カメラで格子屋を確保しつつ、HDR画像により照明問題も軽減。

 Cannyオペレータで画像エッジを検出し、エッジを残して不要なテクスチャを排除することで、地面のタイルから地図を作成できるようにした。

(3)障害物回避

 静止物は自己運動による回避、移動体は自己静止による回避促進で対応。

3.5 検証実験

(1)(3Dセンサによる)自己位置推定

 ジャイロオドメトリの精度は極めて高く、位置の誤差は1[km]あたり4~12[m]であった。

 また、マップマッチングやパーティクルフィルタも有効に機能した。

(2)カメラによる自己位置推定

 想定したとおりの機能を発揮したが、有効に機能した範囲が限定であったのも想定どおりであった。

(3)障害物回避

 いくつかの意図しない状況下においても有効に働いた。

3.6 今後の検討

・オンライン環境認識の比重を増やす

4 出現用語

 

5 おわりに

 点群処理の研究をしていると、応用先の1つとしてロボットビジョンが挙がる。

 しかし、ロボットの運用には、単にソフトウェア的知識だけでなく、ハードウェア的な知識も必要であり、求められる知識技能が多すぎるため、一介のソフト屋には手を出しにくい分野である。

 本論文は、ロボット屋がロボットビジョンシステムをどのように選定し、またその結果がどのようであったかを記した、非常に参考になる文献である。

 ロボットビジョンへの応用を考える場合、本論文の知見を改めて参考にしたい。

 

 細部について気になった点として、カメラによる自己推定において、SIFT特徴量は激しい照明変化に弱いためうまく機能しないと述べられていた。

 SIFTは、照明変化にロバストであると言われているが、白飛びするほどの強烈な変化では、役に立たないらしい。

 このように、「理論的」説明と異なる情報が得られるのも、実践主義のロボット屋ならではの知見である。

6 今後調査したい事項

  その他つくばチャレンジレポート

【論文100本ノックの70】私の研究開発ツール―第 64 回― Kinectを用いた画像処理プログラミング(2)

1 目 的

 点群に関する研究論文を読み、点群処理に関する知識を得るとともに、新たな研究のための気づきを得る。

 

2 はじめに

 100本計画の70本目として、和文5ページの本論文(記事)を読む。

 

3 対象論文と要約

3.1 対象論文

私の研究開発ツール―第 64 回― Kinectを用いた画像処理プログラミング(2)

大垣慶介 東京大学

映像情報メディア学会誌: 映像情報メディア 66.10 (2012): 861-865. 2012

http://ci.nii.ac.jp/naid/110009579276

3.2 研究内容

(社会的ニーズ)

 なし。

(提案)

 学部1・2年を対象にしたKinectプログラミングの内容を紹介する

3.3 ツールの概要

(1)Kinectからのスケルトン(人体骨格)の取得、混色の話

(2)クラスの簡単な使い方

(3)音声(OpenAL)または3次元グラフィックス(OpenGL)ライブラリの簡単な導入

(4)2チームに分かれての作品制作

4 出現用語

 

5 おわりに

 学生に対してツールの使い方を示し、それをもとに学生が作品を制作するというものである。

 教える側としては、最後の作品を楽しみにできるので、理想的な授業形態である。

 しかし、実際には、すべての学生が制作できるレベルになるのは難しく、また技量があっても制作に対して意欲的でない場合も多く、一部の学生しか熱心に取り組まない。

 悩ましい問題である。

6 今後調査したい事項