Learn to Fly with Microsoft

Agora, 38 anos depois da primeira decolagem, a Microsoft se deu conta que a mesma estratégia utilizada para mostrar o quanto ela estava na liderança da inovação da época, os 16 bits, poderia ser utilizada novamente, só que para os assuntos mais quentes do mundo da tecnologia de hoje em dia; Cloud, Big Data e Realidade Virtual.

Para o Ghost Interview desta semana, embarcamos num papo com Jörg Neumann, head do Flight Simulator da Microsoft para falar, exatamente, como a nuvem, os dados e a geolocalização transformaram o game em um verdadeiro showroom  para a Microsoft.

Jörg, a Microsoft tinha descontinuado o Flight Simulator, como foi o processo de vocês voltarem com o jogo?

Há uns seis anos, eu estava trabalhando num produto chamado “HoloTour” para as HoloLens [o headset de realidade aumentada da Microsoft]. E isso me inspirou para tentar retomar o Flight Sim:  porque você não consegue reconstruir Machu Picchu para a Realidade Aumentada, no sentido de que não consegue reconstruir como é andar por Machu Picchu, mas você consegue reconstruir a visão de cima dela. Então acabei conversando com a equipe do Bing Maps e descobri que eles tinham dados e imagens do planeta inteiro. Eles têm o campo de altura e também a fotografia aérea, então basicamente usamos isso, colocamos no motor e adicionamos algumas coisas – como as ruínas reais de Machu Picchu – e eu juro que a primeira vez que coloquei o HoloLens para ver essas imagens, o núcleo da ideia [do Flight Simulator]  estava bem ali: ‘Cara, se pudéssemos fazer isso em todo o planeta, não seria incrível?. Na época eu estava trabalhando com o Asobo Studio na França para desenvolver os gráficos para ambientes virtuais grandes. Quando descobri que o time do Bing tinha dados fotogramétricos detalhados com resolução de 5 centímetros para mais de 400 cidades, a gente apenas contactou alguns outros provedores de satélites para voar pelo mundo usando a tecnologia ‘lidar’ [uma versão laser do radar] e gerar imagens e modelos do mundo real. 

Foi quando eu recebo a fotogrametria de Seattle, algo entre 30GB ou 40 GB, e enviei para a Asobo em 2017. A Asobo tinha construído para eles um Cessna 172 para parecer que estávamos voando por cima da cidade de Seattle de dia. (Entrevista ao site Protocol em 16 de agosto de 2020 )

Phil [Spencer, VP na época e hoje em dia é head do XBox na Microsoft] já tinha falado comigo sobre o simulador, segundo ele, só poderíamos fazer o game se fossemos nos comprometer com ele no longo prazo. Com este modelo em mãos, eu fui fazer o Pitch do produto para o Phil.  Ele apenas olhou para mim e perguntou ‘por que você está me mostrando um vídeo de um voo que você fez sobre Seattle?’ E eu, então, virei o avião com o controle e nós passamos por cima do campus da Microsoft, onde estamos sentados naquele exato momento. E ele ficou atônito. “É em tempo real? Isso já está funcionando?”. E eu respondi que sim. E ali eu recebi o OK para continuar com o projeto, sabíamos que tínhamos algo especial em mãos. (Reportagem do The Verge em 30 de julho de 2020)

Então vamos aos pontos técnicos como a Azure, a cloud da Microsoft, acabou ajudando vocês para criar este game?

Nenhum computador pessoal conseguiria rodar essa quantidade de informação – o modelo inicial do jogo tem 2,5 petabytes de dados – assim, a Azure era necessária não só para gerar essas informações, mas para entregar aos players a experiência. Por causa da Azure também podemos fazer o Flight Sim se parecer com a geografia na vida real, além disso, acrescentamos dados de tráfego e de clima, que aparecem no game. O Flight Simulator é um produto vivo, e nada disso seria possível antes sem a nuvem.(Entrevista ao site Protocol em 16 de agosto de 2020)

Quais tipos de dados do Bing Maps vocês usa? E quais outros dados vocês utilizam para o jogo?

No Bing, temos os dados de satélite, que chamamos de “Fotografia de Área” que vão até 30 centímetros por pixel. As melhores imagens são de aeronaves, que possuem várias câmeras e fazem uma imagem por segundo, a resolução passa a ser de 5 centímetros por pixel. A partir desses pontos, você pode, em princípio, construir as cidades.

No entanto, existem algumas complicações. Por exemplo, arranha-céus têm um lado escuro e você não pode usá-lo em uma simulação de vôo. Quando o sol está em torno de 360 ​​graus, muitos problemas precisam ser resolvidos.

Existem cerca de 300 atrações, como o Space Needle em Seattle, que construímos manualmente – e foi realmente difícil fazer a escolha. Nos outros casos, usamos algoritmos.Trabalhamos muito com machine learning. Há pessoas em nossa equipe que escreveram sua dissertação sobre a análise topográfica de telhados. O telhado é analisado para que você possa ver exatamente como a viga está montada. O plano é tirado das fotos de satélite. Com base nos comprimentos das sombras, podemos ver a altura do edifício. Em princípio, construímos 1,5 bilhão de casas na nuvem todos os dias. Não está em um disco rígido – não está em lugar nenhum.(Entrevista ao site alemão Golem em 29 de novembro de 2019)

Por um lado, temos uma simulação em tempo real do clima que leva em consideração coisas como temperatura do ar, pressão do ar e assim por diante. Temos cerca de 65.000 fontes à nossa disposição. Nosso provedor está sediado na Suíça e deixa todos esses dados conosco. Mas também temos outros parceiros. Por exemplo, temos os dados de todos os aviões em todo o mundo – eles voam com precisão pela paisagem. Também coletamos dados de navios e queremos levar trens e animais em consideração. Queremos acertar todos os detalhes do planeta!(Entrevista ao site alemão Der Standard em 24 de novembro de 2019)

Quando você diz fazer o planeta direito, significa o planeta inteiro, não é?

Eu acho que a gente conseguirá recriar qualquer espaço. Os aviões comerciais não voam para todos os lugares e algumas áreas do mundo são consideradas um pouco mais remotas. Mas essas são realmente as áreas nas quais vou me concentrar, porque você sabe que a Europa Ocidental e os EUA são bons, certo? Mas queremos nos concentrar em outras áreas porque achamos que se as pessoas não estiveram lá, a aviação realmente não foi lá. Existem muitos terrenos fascinantes. E, quero dizer, acho que podemos realmente inspirar. (Reportagem do The Verge em 30 de julho de 2020)

Tanto a Microsoft, como a Asobo têm chamado o Flight Simulator de um “projeto de 10 anos”, por quê?

No momento, temos um monte de aviões voando no hemisfério norte porque não há nuvens, então estamos obtendo novos dados de satélite e aéreos. Vamos processar todos esses dados com aprendizado de máquina e teremos uma ‘atualização mundial’. Teremos atualizações mundiais a cada dois meses ou mais, é o plano. Estamos escolhendo uma região da Terra e colocando algum foco nela.

O game vai mudar durante o inverno, quando a neve no céu cria novos tipos de padrões. O mais interessante de tudo é que sim, podemos juntar uma série de dados de fontes diferentes, mas como usaremos isso? Como faremos isso chegar às pessoas? É por isso que esse game para mim é fascinante, porque permite experiências como ela. Mas digo que é apenas o começo do que estamos vendo. 

É por isso que toda essa pilha para mim é fascinante e permite experiências como essa, mas é apenas o começo do que estamos vendo. “(Entrevista ao Engadget em 25 de setembro de 2020)

Falando em “é apenas o começo”, vamos falar de Realidade Virtual?

VR é uma prioridade alta para a gente. A Asobo [companhia de games parceira da Microsoft] têm anos de experiência com VR, nós também. Nós sabemos que é uma tecnologia que exige uma implementação lenta, mas sem erros. Queremos encontrar uma boa solução, por exemplo, isolando o cockpit do resto do mundo. Então, você pode se mover livremente e o mundo ao fundo não começa a brilhar. Já começamos com a VR mas queremos fazer direito.(Entrevista ao site alemão Der Standard em 24 de novembro de 2019)

A gente mudou o aspecto físico da câmera no cockpit para o piloto ter noção dos movimentos de forma mais precisa.

Isso é importante para o VR. No VR, você está imerso na experiência. Sua cabeça balança um pouco de acordo como o vento bate no avião, mas também balança quando você faz flips e viradas, estes são pontos que ainda precisamos melhorar da experiência.(Entrevista à CNN em 6 de agosto de 2020)

A última pergunta é, o Flight Simulator tinha sido descontinuado, por que voltou agora?

Por que demoramos tanto para voltar? Honestamente, estou na Microsoft há um bom tempo, e o desejo de fazer outro simulador de vôo realmente sempre esteve lá. E as pessoas falavam sobre isso nos corredores, mas era sempre: ‘O que vamos adicionar? O que temos a dizer? Você sabe, podemos realmente dar um passo significativo em frente? (Reportagem do The Verge em 30 de julho de 2020)

Tecnologia e ferramentas. Queremos oferecer o máximo de realismo possível. E para apresentar isso, precisamos de duas coisas: renderização fotorrealística e todos os dados de sensores. O mundo inteiro agora está cheio de sensores. Isso não existia no passado. O que ainda não havia era uma maneira de levar esses dados às pessoas, e agora podemos, por exemplo, podemos transferir incêndios florestais para o jogo em tempo real. Esses dados são gratuitos. Portanto, não funcionaria sem a nuvem e nossos muitos parceiros.(Entrevista ao site alemão Der Standard em 24 de novembro de 2019)