DJIのRONIN S2 (RS2)のLidar技術を駆使したオートフォーカス機能は今後のインダストリースタンダードになるかもしれません。

よろしければ、僕のTwitterのフォローにご協力くださいませ。記事の更新のたびに呟いております！

f:id:sulgi0917:20201023120421p:plain

今週はiPhone 12 Proが発売されたこともあり、Youtube上ではiPhone 12 Proの様々なカメラ機能のテストレビューが上がっていますね。

このiPhone 12 Pro、何が凄いかって、Appleがとうとう本気になってカメラ性能(とりわけ動画性能）を引き上げてきたことでしょう。 10ビット HDRで4K/60Pが撮影できるというのは庶民向けのアップグレードではなく、確実にプロへ向けて放たれたメッセージとなるでしょう。

f:id:sulgi0917:20201022165012p:plain — iPhone12 ProのLiDARセンサーは今後じわりじわりとその存在感を増すはずです

iPhoneのカメラ性能を引き上げることによって、コンパクトデジタルカメラの市場を完全に奪い取ったAppleが、今度は大型センサー搭載のミラーレスカメラの市場を奪うために本格的にアップを始めたと僕は見ています。その手始めが10ビットHDR撮影とiPhone 12 Pro Maxの大型センサー搭載&センサーシフトでの手振れ補正の搭載ということでしょう。

そう遠くない未来に、iPhoneでProRes Raw撮影、iPad Proにて本格的な映像編集ができる日がやってくるに違いありません。

さて、本題に入りますが、新しいiPhoneにも搭載されたLiDARテクノロジーを活用した画期的なオートフォーカスシステムが、DJIから新しく発売されたジンバルである RS2 (Ronin S2)にて採用されています。

なんと、LiDARセンサーからの距離情報をフォーカスモーターに伝え、回転させることでオートフォーカスとほぼ同じ効果をマニュアルフォーカスレンズにて行うことが可能だということなのです。

大人気ジンバルであったRonin Sの後継機であるRS2ですが、この機能が使えるならば、買い換える価値もあるかもしれないと思っていたところ、僕の大好きなFilmmaker/YoutuberであるJoshさんがテストしていますので、紹介いたします。

テスト１
テスト2
対応レンズ
キャリブレーションの手順
テスト3
まとめ

MAKE.ART.NOW. のJosh Yeo さんはDJIのRS2ジンバルで新しく搭載されたRiDAR技術を駆使した3Dフォーカスシステムを試しています。

DJIのオフィシャルサイトによると

3Dフォーカスシステムは、ToFセンサーを使ってレンズと被写体の距離を計測し、低照度環境下でも鮮明な映像を撮影できます。この高度なシステムにより、大口径MFレンズでも、オートフォーカスをすばやく行えます。

とのことです。

JoshさんはDJIのRoninシステムを徹底的に使いこなしていて、僕もこのブログで取り上げさせていただきました。この時はカメラマンなしでRoninにカメラワークを任せるという離れ技を見せてくれています。

Joshさん

去年の8月にRonin Sのカメラトラッキング機能とα7IIIのオートフォーカス機能を利用してカメラマン不在のトラッキングショットを成功させたわけだけど、今回も似たようなテストをRS2を使って行っている。映像は似通っているけど、前回と決定的に違うのはRS2のWIFI映像伝送システムであるRavenEyeを使ってレイテンシーの少ない映像をスマートフォンに転送しながら被写体をトラッキングさせている。それだけでなく、3DフォーカスシステムのLiDAR技術を使って被写体との距離を測ることで、フォーカスさえも追従させることに成功している。

f:id:sulgi0917:20201022201413p:plain — ActiveTrack 3.0を実行中のスマートフォンの画面

f:id:sulgi0917:20201022202408p:plain — 3Dフォーカスシステム（上部）を装着した状態のRS2

LiDARスキャナは物体に反射する光子を測定し、カメラからの距離を計測するというとても正確な測定システムで、測定した距離情報をフォーカスモーターに直接伝えることでマニュアルフォーカスレンズでも正確なフォーカスを実現している。

JoshさんがここでテストしているレンズはMitakon ZHONGYI SPEEDMASTER Mark III 50mm F0.95で絞りはもちろん開放のF0.95でテストしているみたいです。(モーターがフォーカスを合わせている動画は0:28秒から）

f:id:sulgi0917:20201022204246p:plain — Mitakon SPEEDMASTER 50mm F0.95

f:id:sulgi0917:20201022204619p:plain — 800ドルくらいのマニュアルフォーカスレンズでテストしています

f:id:sulgi0917:20201022204849p:plain — フォーカスモーターに距離情報が反映されます

f:id:sulgi0917:20201022204953p:plain — 別写真、BMPCC 6Kでもオートフォーカス可能です！

Joshさんによるとこの機能はRS2に特化したもので、RSC 2では利用できないとのことです。

f:id:sulgi0917:20201022205320p:plain — RSC 2(左)では3Dフォーカスシステムは利用できない

Joshさん

開放値をF0.95でオートフォーカスできるレンズを見たことがあるかい？おそらくないと思う。それくらい、ここまで被写界深度が浅いとフォーカスを合わせるのは簡単ではない。

もちろん、最初に見せたクリップは少し編集してるからフォーカスが外れた部分はカットされている。そこで、今からノーカットの映像を流すから一緒に確認しないか？

(ノーカット映像は動画2:32秒から)

しつこいですが、ここでもう一度整理しましょう。この映像はジンバルであるRS2と二つのシステムが相互に補完しあって出来上がっています。

1) RavenEye 映像伝送システム

このシステムを利用することで映像をスマートフォンに転送し、Roninアプリでモニタリングしながらトラッキングする物体を選択可能です。

f:id:sulgi0917:20201022210326p:plain

f:id:sulgi0917:20201022210122p:plain — 別途購入が必要なRavenEye 映像伝送システム

f:id:sulgi0917:20201022210532p:plain — Roninアプリでトラッキング対象を指定、確認

2) 3D フォーカスシステム

このシステムはLiDARセンサーモジュールを使って被写体との距離を測ることが可能で、その情報をフォーカスモーターに伝えることでオートフォーカスを実現します。Joshさん曰く、被写体が真ん中にいる時にのみ効果を発揮するとのことです。オフィシャルサイトを訪れると、はっきり下記のように説明書がありました。

オフィシャルサイトから

レンズと被写体の距離を自動で検出し、マニュアルフォーカスレンズの中央AFフレームを有効にします。

f:id:sulgi0917:20201022213431p:plain

Joshさん

ノーカットの映像を見て分かる通り、被写体がフレームの中央から外れるとフォーカスが合わなくなる。被写体のトラッキングに関してはスマートフォンを（初代Ronin Sの時のように）ジンバルに据え置きにする必要はない。

f:id:sulgi0917:20201023123049p:plain — 初代Ronin Sでのトラッキングはスマートフォンをカメラ上部に装着する必要がありました

テスト１

BMPCC 6K + RS2 + 3Dフォーカスシステム

(動画5:30秒から)

お世辞にもオートフォーカス性能が良いとは言えないBMPCCシリーズですが、動画を確認する限りではフレームの中央にしっかりとフォーカスを合わせることが確認できます。

今回のJoshさんの実験結果を見るとRS2と3Dフォーカスシステムを使うことで、マニュアルフォーカスレンズでのオートフォーカスというのは夢物語ではなさそうです。

f:id:sulgi0917:20201022215656p:plain — OTUS 55mmをつけてオートフォーカスのテスト

f:id:sulgi0917:20201022220140p:plain — SPEEDBOOSTERを付けてLAOWAの12mm F2.8を装着しての実験も

f:id:sulgi0917:20201022220320p:plain — フレームの中央であればしっかりフォーカスしてくれるみたいです

ちなみに、BMPCC 4Kと6Kモデルのオートフォーカスに関しては、既に何度か記事にしています。

上の記事で紹介されているCDA-TEKの方法はBMPCCのオートフォーカスをオーバーライドしてオートフォーカスレンズのオートフォーカス性能を向上させるものであり、RS2の3Dフォーカスシステムはメカニカルなマニュアルフォーカスリングと連動してオートフォーカスを実現するという違いがあることは認識するべきでしょう。ただし、どちらもシステムの根幹はLiDAR技術に支えられています。

追加: CDA-TEKからRiDARベースのオートフォーカスシステム、AFXシステムが発売されました。

個人的には案外RS2と3DフォーカスシステムのコンボがCDA-TEKの方法よりも直感的で使いやすいかもしれないと思いました。　ただし、必ずジンバルに載せないといけないことと、ジンバル自体の値段が高くつくことから、どちらも需要はあるのだろうと考えられます。

Joshさん

被写体との距離は最短で1mから遠くて4mまでの幅でピントを合わせている。これは3Dキャリブレーションの工程(後述)から想像することができる。　また、印象的なのはローライト(低照度）な状況でも全く問題なく被写体との距離を測り続けたことである。

当たり前のことと言えば当たり前なのですが、このシステムは環境光の影響を全く受けません。昼間でも真っ暗闇でも、光子の測定さえできれば距離は計測できるのです。

(ローライト時のフォーカステスト動画6:35から)

f:id:sulgi0917:20201022223501p:plain — 暗い環境でのオートフォーカステスト

f:id:sulgi0917:20201022224145p:plain — MAX ISO 25,600でのテスト、映像は粗くてもフォーカスはバッチリ！

Joshさん

カメラと独立して距離を測定をしているわけだから、カメラの電源をオフにしても継続してモーターはフォーカス情報を基にフォーカスを合わせ続けることになる。 ISO 25,600のテストでは部屋での明かりはEXIT(出口)のサインだけだった。真っ暗闇さ。

テスト2

暗闇でのオートフォーカス比較

BMPCC 6K + OTUS 55 F1.4 (with RS2 & 3Dフォーカス)

Sony α7III + Sigma 24-70 F2.8 (Sonyのオートフォーカス)

(比較動画は7:34から）

f:id:sulgi0917:20201022230425p:plain

BMPCC 6K VS α7IIIのオートフォーカステスト in 暗闇

Joshさん

Sigma 24-70のレンズはα7IIIとの組み合わせで驚異的なオートフォーカススピードを誇るけれど、ローライトシチュエーションではフォーカスが迷うことが多かった。対してマニュアルフォーカスレンズと組み合わせたBMPCC 6Kは暗い環境にも全く左右されないしっかりとしたオートフォーカスをRS2と3Dフォーカスシステムで実現していた。

f:id:sulgi0917:20201022230200p:plain — オートフォーカス性能の良いα7IIIでも暗闇には勝てない

f:id:sulgi0917:20201022230248p:plain — RS2と3Dフォーカスシステムは暗さは全く関係なくピントを合わせている

Joshさん

もちろん、先述したように22フィート(6.7m)を超える距離では光子を測定できないため、フォーカスは全く合わなくなる。

f:id:sulgi0917:20201022231723p:plain — フォーカスを合わせる範囲が限定的なのは残念です

対応レンズ

Joshさん

簡単に知っておくべき点をまとめて伝えたいと思う。まず、このシステムはRS2でしか使えない。RS2のフォーカスモーターコンボと一緒に購入する必要があるので一定の金額を投資する必要があることを覚えておこう。

バイワイア方式のレンズではフォーカス送りができないことも伝えておこう。メカニカルフォーカスのレンズでしかこのシステムは使用できない。バイワイア方式のレンズはフォーカスリングが無限に回り続けるレンズだと思ってくれて良い。

f:id:sulgi0917:20201022232537p:plain — バイワイア方式のレンズ (例1)

f:id:sulgi0917:20201022232637p:plain — バイワイア方式のレンズ (例2)

f:id:sulgi0917:20201022232704p:plain — バイワイア方式のレンズ (例3)

f:id:sulgi0917:20201022233100p:plain — シネマレンズやハードストップ式のフルマニュアルレンズは対応

Joshさん

配線もしっかりしないと機能しないことも伝えておこう。このシステムを運用するには何本ものケーブルを正確に配線しないといけない。

カメラコントロール、3Dフォーカスモジュール、HDMIトランスミッター(RavenEye)の接続がしっかりできて初めて正常に動作する。

f:id:sulgi0917:20201022233521p:plain — 配線は結構大変ですね

f:id:sulgi0917:20201022233558p:plain

キャリブレーションの手順

Joshさん

レンズのキャリブレーションプロセスは大体1分くらいで完了できる。

メニュー画面から3Dフォーカスの項目を選ぶ

レンズを登録する(メモリーにレンズを三つまで登録可能)

1m先の被写体にフォーカスを合わせてSet Focusを押す

4m先の被写体にフォーカスを合わせてSet Focusを押す

MFかAFを選択して終了

この類のシステムとしては第一世代と呼べるこのオートフォーカスシステムの精度が高いことに驚いた。　被写界深度の浅い状態でのテストばかりだったにもかかわらず、結果は満足のいくものだった。F0.95でのフォーカスを合わせるのがどんなに大変なことなのかは想像だけでもしていただければ嬉しい。