O Oculus Quest (tanto o original quanto o segundo modelo^{(second model)} ) tem um histórico interessante de recursos sendo adicionados muito tempo depois que o hardware foi lançado. O mais famoso deles é o Oculus Link , que efetivamente transforma a Quest em um Oculus Rift . Esse recurso fez tanto sucesso que a Oculus decidiu descontinuar todos os seus fones de ouvido, exceto o Quest . 

O rastreamento manual^(Hand) não causou tanto impacto no Oculus Link , mas ainda é um recurso incrível com muito potencial. Com o rastreamento manual, você não precisa de controladores. Suas próprias mãos são digitalizadas no mundo VR! 

Se você tem uma Quest ou está pensando em comprar uma, vale a pena saber como funciona o rastreamento manual e o que ele pode trazer para a experiência de RV.

Como a Quest acompanha o mundo

O Oculus Quest usa uma abordagem inovadora para rastreamento de movimento que é comumente referido como rastreamento "de dentro para fora", que é muito diferente de como o rastreamento de movimento funcionava no passado. 

Quando os primeiros headsets de última geração foram lançados em meados de 2010, eles usavam uma ou mais câmeras externas de rastreamento. Luzes especiais de rastreamento de movimento no fone de ouvido diziam à câmera exatamente onde o fone de ouvido estava em relação a ela. Com alguma matemática inteligente, esses dados podem ser convertidos em rastreamento de movimento muito preciso no espaço 3D. É assim que os headsets VR premium oferecem “seis graus de liberdade”, também conhecidos como 6DoF. 

A Quest^(Quest) move o sensor da câmera para o próprio fone de ouvido, neste caso colocando-os em pontos estratégicos do aparelho. Outros fones de ouvido podem usar ainda mais câmeras para melhorar a precisão. Essas quatro câmeras permitem que o Quest veja o mundo real ao seu redor e determine qual é sua posição dentro desse espaço. 

É isso que permite que o Quest seja independente e portátil. É também o recurso que permite que o rastreamento manual com o Oculus seja possível em primeiro lugar.

Os controladores padrão Oculus Touch^{(Standard Oculus Touch Controllers)}

Para entender o que torna o rastreamento de mão do Oculus tão impressionante, temos que começar com os controladores físicos bastante mundanos que vêm com o Oculus Quest . Cada um é totalmente rastreado por sensores internos e marcadores especiais de rastreamento de movimento que informam às câmeras integradas do Quest onde os controladores estão em relação ao fone de ouvido.

Quando você está segurando os controladores de toque em VR, eles são rastreados com uma precisão incrível. Usando os botões de aperto e gatilho no controlador, o software VR pode criar uma experiência convincente de pegar e manipular itens. Isso é usado com grande efeito em jogos como Half-Life Alyx e The Climb , onde itens emocionantes no mundo VR são uma parte central da jogabilidade. 

Os controladores de toque^{(Touch Controllers)} também oferecem feedback tátil graças a dispositivos chamados “atuadores lineares”, que podem criar sensações físicas de esbarrar em coisas, vibrações e outras sensações de toque. Thumbsticks e botões também oferecem uma maneira familiar de se mover em um espaço de RV quando você não pode se mover fisicamente em seu espaço real.

A principal desvantagem disso em comparação com o rastreamento manual é que você tem ganchos para as mãos. Você pode realizar movimentos simples de beliscar com suas mãos virtuais, mas isso é tudo. Não parece uma grande limitação quando os jogos são projetados em torno dos controladores, mas o rastreamento manual abre um espectro de novas possibilidades em VR.

O que o Oculus Hand-Tracking faz

Quando o rastreamento de mãos estiver ativado, você verá uma representação precisa de suas mãos reais no mundo da RV. Cada movimento de seus dedos ou pulso será refletido em seus doppelgangers virtuais.

O Rastreamento de Mãos^{(Hand Tracking)} não é mais um recurso beta do Quest . Ele agora está integrado ao sistema operacional e a muitos aplicativos Quest de primeira linha . O primeiro grande benefício aqui é que, se você quiser colocar rapidamente sua Quest e assistir a um filme em VR ou navegar pela loja de aplicativos, não precisará se esforçar para prender os controladores de toque. Usando apenas as mãos, você pode acessar os menus do sistema e navegar com facilidade.

Agora que o rastreamento manual é um recurso oficial do Quest , os desenvolvedores de aplicativos de terceiros podem adicioná-lo aos seus aplicativos. Já existem vários aplicativos que fazem um excelente uso do recurso de rastreamento manual do Oculus , mas temos certeza de que os desenvolvedores encontrarão muitas outras maneiras interessantes pelas quais o rastreamento manual direto pode transformar a experiência de RV

Como funciona o rastreamento manual do Oculus

Os resultados do rastreamento manual são bastante surpreendentes, mas como isso realmente funciona? Obviamente , a Oculus não publicará os detalhes exatos de sua solução proprietária, mas conhecemos as tecnologias e os princípios envolvidos.

Primeiro, as câmeras a bordo são essenciais para fazer o trabalho de rastreamento manual. Eles não apenas fornecem informações de profundidade estereoscópicas, mas também dados visuais para processamento por visão de máquina. O que é visão de máquina? É um ramo da inteligência artificial^{(artificial intelligence)} , especificamente um campo conhecido como aprendizado de máquina. É a mesma tecnologia que permite que o aplicativo de câmera do seu telefone identifique rapidamente rostos em uma foto.

Essencialmente, o software precisa aprender o que nos dados de imagem fornecidos pela câmera é uma mão e o que não é uma mão. Isso provavelmente foi feito mostrando ao software milhares e milhares de mãos em diferentes ambientes até que ele pudesse descobrir com segurança uma maneira rápida e eficaz de diferenciá-las de tudo o mais em sua sala.

Uma vez que o software pode criar modelos virtuais precisos e em tempo real de suas mãos, os desenvolvedores de aplicativos podem usá-los para qualquer coisa que possam imaginar. Agora você pode manipular objetos com precisão em VR!

Experiências rastreadas manualmente que valem a pena experimentar

Se você possui um Oculus Quest , pode experimentar o recurso de rastreamento manual do Oculus sem precisar comprar nenhum aplicativo específico. Como mencionado acima, ele funciona no ambiente principal do Quest , bem como em alguns aplicativos primários. Quando se trata de experiências de terceiros, há algumas que merecem destaque.

The Line é uma experiência narrativa de US $ 4,99 que também serve como uma demonstração técnica perfeita para rastreamento de mão. Ele conta a história de uma cidade modelo em escala que funciona em um relógio e trilhos. 

Nosso herói Pedro está apaixonado por Rosa , mas não pode escapar de seu destino. Até que algo novo aconteça um dia. Você interage com o mundo do modelo em escala usando sua mão para girar botões, puxar alavancas e mexer com tudo o que puder. É uma experiência linear e curta, mas pode mostrar o rastreamento manual de uma maneira muito divertida em cerca de 15 minutos.

Waltz of the Wizard (US $ 9,99) é outra excelente vitrine da tecnologia. Você pode usar suas mãos para lançar feitiços e interagir com praticamente tudo no mundo VR ao seu redor. Se você sempre quis viver a fantasia de ser um mago que pode disparar raios de luz de suas mãos, este é o jogo para você!

O que você acha do rastreamento de mão no Quest ? Tentaste? Quais jogos você recomendaria? Compartilhe^(Share) seus insights nos comentários.

How Oculus Quest Hand Tracking Technology Works

The Oculus Quest (both the original and second model) have an interesting history of features being added long after the hardware is out in the wild. The most famous of these is Oculus Link, which effectively turns the Quest into an Oculus Rift. This feature was so successful that Oculus decided to discontinue all their headsets but the Quest. 

Hand tracking hasn’t made quite the splash Oculus Link did, but it’s still an amazing feature with lots of potential. With hand-tracking you don’t need controllers at all. Your own hands are digitized into the VR world! 

If you have a Quest or are thinking of buying one, it’s worth knowing how hand tracking works and what it can bring to the VR experience.

How Quest Tracks the World

The Oculus Quest uses an innovative approach towards motion tracking that’s commonly referred to as “inside-out” tracking, which is very different from how motion tracking worked in the past. 

When the first next-generation headsets were released in the mid-2010s, they made use of one or more external tracking cameras. Special motion tracking lights on the headset told the camera exactly where the headset was in relation to it. With some clever math, that data could then be converted to very accurate motion tracking in 3D space. This is how premium VR headsets offer “six degrees of freedom”, also known as 6DoF. 

Quest moves the camera sensor onto the headset itself, in this case placing them in strategic spots on the device. Other headsets may use even more cameras to improve accuracy. These four cameras let the Quest look at the real world around you and determine what your position is within that space. 

That’s what allows the Quest to be self-contained and portable. It’s also the feature that allows for hand-tracking with the Oculus to be possible in the first place..

The Standard Oculus Touch Controllers

To understand what makes Oculus hand tracking so impressive, we have to start with the rather mundane physical controllers that come with the Oculus Quest. Each one is fully motion-tracked by internal sensors and special motion tracking markers that tell the Quest’s onboard cameras where the controllers are relative to the headset.

When you’re holding the touch controllers in VR, they’re tracked with uncanny accuracy. Using the grip and trigger buttons on the controller, VR software can create a convincing experience of grabbing and manipulating items. This is used to great effect in games such as Half-Life Alyx and The Climb, where gripping items in the VR world is a central part of gameplay. 

The Touch Controllers also offer haptic feedback thanks to devices called “linear actuators”, which can create physical feelings of bumping into things, vibration and other touch sensations. Thumbsticks and buttons also offer a familiar way to move around a VR space when you can’t physically move about in your real space.

The main disadvantage of this compared to hand-tracking is that you have hooks for hands. You can perform simple pinching movements with your virtual hands, but that’s the extent of it. It doesn’t feel like a major limitation when games are designed around the controllers, but hand tracking opens a spectrum of new possibilities in VR.

What Oculus Hand-Tracking Does

When hand tracking is enabled, you’ll see an accurate representation of your real hands within the VR world. Each movement of your fingers or wrist will be reflected in their virtual doppelgangers.

Hand Tracking is no longer a beta feature of Quest. It’s now integrated into the operating system and many first party Quest applications. The first major benefit here is that if you just quickly want to put on your Quest and watch a movie in VR or browse around the app store, you don’t have to go through the effort of strapping on the touch controllers. Using just your hands, you can access system menus and navigate around with ease.

Now that hand-tracking is an official feature of Quest, third-party app developers can add it to their apps. There are already a number of apps that make excellent use of the Oculus hand-tracking feature, but we’re sure developers will find many more exciting ways in which direct hand-tracking can transform the VR experience

How Oculus Hand-tracking Works

The results of hand-tracking are pretty amazing, but how does it actually work? Obviously Oculus isn’t going to publish the exact details of their proprietary solution, but we do know the technologies and principles involved.

First, the on-board cameras are essential to making hand-tracking work. Not only do they provide stereoscopic depth information, but also visual data for processing by machine vision. What’s machine vision? It’s a branch of artificial intelligence, specifically a field known as machine learning. It’s the same technology that lets your phone’s camera app quickly identify faces in a photo.

Essentially, the software has to learn what in the image data provided by the camera is a hand and what isn’t a hand. This was probably done by showing the software thousands and thousands of hands in different environments until it could reliably figure out a fast and effective way of telling them apart from everything else in your room.

Once the software can create accurate, real-time virtual models of your hands, app developers can use them for anything they can think of. You can now precisely manipulate objects in VR!

Hand-tracked Experiences Worth Trying

If you own an Oculus Quest you can try out the Oculus hand-tracking feature without having to buy any particular app. As mentioned above, it works in the main Quest environment as well as a few first-party apps. When it comes to 3rd-party experiences, there are a few worth highlighting.

The Line is a $4.99 narrative experience that also serves as a perfect tech-demo for hand tracking. It tells the tale of a scale model town that runs on clockwork and tracks. 

Our hero Pedro is in love with Rosa, but he can’t escape his fate. Until something new happens one day. You interact with their scale model world by using your hand to turn knobs, pull levers and fiddle with everything that you can. It’s a linear, short experience, but can show off hand-tracking in a very entertaining way in about 15 minutes.

Waltz of the Wizard ($9.99) is another excellent showcase of the technology. You can use your hands to cast spells and interact with just about everything in the VR world around you. If you’ve ever wanted to live out the fantasy of being a wizard who can shoot bolts of lighting from their hands, this is the game for you!

What do you think of hand tracking on Quest? Have you tried it? Which games would you recommend? Share your insights in the comments.

Related posts

• Como Jogar Wireless PC VR Games em Oculus Quest com Virtual Desktop

• Como funciona o streaming do Xbox para o PC

• Como jogar jogos SteamVR no Oculus Quest 2

• 8 melhores jogos grátis no Oculus Quest 2

• Como configurar o Air Link no Oculus Quest 2

• Você pode usar um Keyboard and Mouse para Console Gaming?

• Como hospedar na contração

• Melhor Wired and Wireless Gaming Headsets

• Monitor vs TV para jogos? Há uma Best Choice?

• 6 dicas e truques para novos proprietários de Oculus Quest 2

• ASUS TUF GAMING Z490-PLUS (WI-FI) Avaliação: Um excelente Z490 motherboard!

• 8 Best FPS Browser Games você pode jogar Online Agora

• O 5 Best Minecraft Mod Packs

• Como Sussurro em Twitch

• 8 pc Games com Great histórias

• Use GBoost para impulsionar Gaming performance em Windows 10 PC

• Como obter Gaming Mode no Android

• revisão Ballistix Gaming Memory DDR4-3600 32GB Crucial

• Como criar Gaming YouTube Videos como um Pro

• Como compartilhar Games no Steam