Uma breve história do futuro – parte 2

Seja nas redes sociais, nos bancos, nos aplicativos de mensagem ou até no próprio software de ler e-mails, os algoritmos estão em todos os lugares e, consequentemente, na sua vida. Mas, o que acontece quando a sua vida passa a ser controlada por eles? Afinal, a sua vida pode ser controlada por eles? O historiador e guru Yuval Noah Harari acha que sim.

Na segunda parte deste Ghost Interview com o “guru do Vale do Silício” (que estranhamente, defende um discurso bem anti-Vale do Silício), você vai ler as opiniões dele sobre o futuro de uma sociedade completamente digitalizada.

([Se você perdeu a primeira parte, tudo bem, entendemos, mas está aqui o link)

Começamos exatamente de onde paramos no Ghost Interview passado: se a inteligência artificial ameaça todo o nosso sistema político e econômico, como os algoritmos afetam a nossa sociedade?

Graças ao big data, à inteligência artificial e ao aprendizado por máquinas, pela primeira vez na história começa a ser possível conhecer uma pessoa melhor do que ela mesma, hackear seres humanos, decidir por eles. Além disso, começamos a ter o conhecimento biológico necessário para entender o que está acontecendo em seu interior, em seu cérebro. Temos uma compreensão cada vez maior da biologia. O grande assunto são os dados biométricos. Não se trata apenas dos dados que você deixa quando clica na web, que dizem aonde você vai, mas dos dados que dizem o que acontece no interior de seu corpo. Como as pessoas que usam aplicativos que reúnem informações constantes sobre a pressão arterial e as pulsações. Agora um governo pode acompanhar esses dados e, com capacidade de processamento suficiente, é possível chegar ao ponto de me entender melhor do que eu mesmo. Com essa informação, pode facilmente começar a me manipular e controlar da forma mais efetiva que jamais vi.

(Entrevista ao El Pais em 20 de agosto de 2018)

Que perguntas são importantes para você?

O maior problema político, legal e filosófico de nossa época é como regular a propriedade dos dados. No passado, delimitar a propriedade da terra foi fácil: colocava-se uma cerca e escrevia-se no papel o nome do dono. Quando surgiu a indústria moderna, foi preciso regular a propriedade das máquinas. E conseguiu-se. Mas os dados? Estão em toda parte e em nenhuma. Posso ter uma cópia do meu prontuário médico, mas isso não significa que seja o proprietário desses dados, porque pode haver milhões de cópias deles. Precisamos de um sistema diferente. Qual? Não sei. Outra pergunta-chave é como conseguir maior cooperação internacional.

(Entrevista à revista iHU, do Instituto Humano Unisinos, publicada em 27 de agosto de 2018)

Em um dos seus livros, você comenta sobre uma nova religião se criando na nossa sociedade, o “dataísmo”, poderia explicar um pouco melhor?

Assim como a autoridade divina foi legitimada por mitologias religiosas e a autoridade humana foi legitimada por ideologias humanistas, os gurus da alta tecnologia e os profetas do Vale do Silício estão criando uma nova narrativa universal que legitima a autoridade de algoritmos e Big Data. Este novo credo pode ser chamado de “dataísmo”. Em sua forma extrema, os proponentes da visão de mundo dataísta percebem o universo inteiro como um fluxo de dados, vêem os organismos como pouco mais do que algoritmos bioquímicos e acreditam que a vocação cósmica da humanidade é criar um sistema de processamento de dados abrangente – e então fundir-se em isto.

Já estamos nos tornando minúsculos chips dentro de um sistema gigante que ninguém realmente entende. Todos os dias absorvo incontáveis ​​bits de dados por meio de e-mails, telefonemas e artigos; processo os dados; e transmito de volta novos bits por meio de mais e-mails, telefonemas e artigos. Eu realmente não sei onde me encaixo no grande esquema das coisas, e como meus bits de dados se conectam com os bits produzidos por bilhões de outros humanos e computadores. Não tenho tempo para descobrir, porque estou muito ocupado respondendo e-mails. Esse fluxo de dados implacável gera novas invenções e interrupções que ninguém planeja, controla ou compreende.

Mas ninguém precisa entender. Tudo que você precisa fazer é responder seus e-mails mais rapidamente. Assim como os capitalistas de livre mercado acreditam na mão invisível do mercado, os dataístas acreditam na mão invisível do fluxo de dados. À medida que o sistema global de processamento de dados se torna onisciente e onipotente, a conexão com o sistema se torna a fonte de todo significado. O novo lema diz: “Se você experimentar algo – grave. Se você gravar algo – faça upload. Se você enviar algo – compartilhe”.

(Artigo de sua autoria publicado no Financial Times em 26 de agosto de 2016)

Mas aí temos um ponto a se pensar: se os dados são tão importantes como uma força religiosa, qual o poder daquelas empresas ou governos que os detêm?

Aqueles que controlam os dados controlam o futuro não apenas da humanidade, mas o futuro da própria vida. Porque hoje, os dados são o ativo mais importante do mundo.

No passado, o controle e a propriedade da terra e, subsequentemente, da maquinaria industrial dividiam os humanos em diferentes classes, aristocratas e plebeus, capitalistas e proletários.

Agora os dados estão substituindo o maquinário como o ativo mais importante. E se muitos dados ficarem concentrados em poucas mãos, a humanidade não se dividirá em classes – ela se dividirá em espécies.

(Apresentação no World Economic Forum de 2018, em Davos, como contada pela reportagem da TechTalks de 31 de janeiro de 2018)

O que isso tudo pode querer dizer para os países?

No século 21, para fazer de um país uma colônia, você não precisa enviar tanques. Você só precisa retirar os dados. Estamos vendo agora uma nova forma de imperialismo – você pode chamá-la de “colonialismo de dados”. É tudo uma questão de dados. Imagine uma situação na Grécia em 20 anos, quando alguém em Moscou, ou em Pequim ou em Washington tem todos os dados pessoais de cada político, cada jornalista, cada juiz, cada oficial militar. Eles conhecerão todo o seu prontuário médico, seus problemas, suas doenças anteriores. Eles terão conhecimento de toda a sua vida sexual e de qualquer pessoa que você conheceu nos últimos 30 anos. Eles saberão cada suborno que você aceitou, cada piada que você contou sobre um grupo ou minoria. A Grécia algum dia será um país independente em tal cenário ou será uma colônia de dados?

(Entrevista ao jornal grego Ekathimerini em 4 de outubro de 2020)

Antes de entrar na questão de controle da gente no nível individual (medo), vamos pegar um pouco no pé para você falar sobre o que devemos nos preocupar quando falamos do poder dos dados no contexto das Big Techs?

É a coisa mais importante que está acontecendo agora e a deixamos nas mãos de umas poucas empresas. Permitir que o Facebook e a Amazon moldem o futuro da humanidade tem perigos inerentes. Não porque representem o mal, mas porque têm sua própria visão limitada do mundo, seus próprios interesses e não representam ninguém, ninguém votou neles. A maioria dos partidos e governos não têm uma visão séria do futuro da humanidade.

(Entrevista ao El País em 3 de novembro de 2016)

Cada vez mais dados que essas empresas têm, mais ela se tornam gigantes…

Mas há outra dificuldade maior em quebrar o monopólio das companhias gigantes de dados e de tecnologia da informação. Se tomarmos, por exemplo, a indústria automotiva, e você tiver uma empresa só controlando todo o mercado automotivo, tecnicamente, não é tão difícil dividir esse monopólio gigantesco em cinco empresas, cada uma controlando 20% do mercado automotivo. É difícil politicamente mas tecnicamente é fácil.

Com a tecnologia da informação, é diferente, porque a natureza da tecnologia da informação encoraja o monopólio, na verdade. Pense nas redes sociais, por exemplo, como o Facebook, todos querem estar onde todos estão. A grande vantagem do Facebook sobre seus potenciais concorrentes não é necessariamente ter a melhor tecnologia ou os melhores serviços. A grande vantagem é que todos já estão nele, por isso eu também quero estar nele.

Se você tiver um sistema de rede social com um bilhão de pessoas e outro sistema de rede social com apenas dez milhões de pessoas, todos vão querer estar no de 1 bilhão. Se você pegar o Facebook e dividi-lo ao meio, isso criará uma situação bastante instável, porque se você tiver cinco redes sociais, cada uma com 20% do mercado, e uma delas abrir uma pequena vantagem todos irão migrar para ela, porque eu quero estar com todos os meus amigos no mesmo lugar. Não quero ter só 20% dos meus amigos em uma rede social e o resto dos amigos em outras redes sociais. Portanto, é inerente à tecnologia essa tendência ao monopólio e acontece a mesma coisa com a prospecção de dados. Quanto mais dados estiverem concentrados em um só lugar, melhores serão suas estatísticas e melhores serão suas previsões.

(Entrevista ao Roda Viva em 13 de novembro de 2019)

Mas aí a gente olha para os governos, e a preocupação aumenta mais. Você mesmo fala que os sistemas de dados e de conhecimento sobre os outros podem ajudar os governos autoritários a crescerem. Como?

Isso significa que um sistema externo pode conhecê-lo melhor do que você mesmo. Pode prever suas escolhas e decisões. Pode manipular suas emoções e vender qualquer coisa, seja um produto ou um político.

(…)

Quando você começa a dar aos algoritmos autoridade para decidir o que estudar, onde morar, com quem se casar, em quem votar. O algoritmo faz recomendações e cabe a você decidir se deseja seguir a recomendação ou não. Em muitos casos, as pessoas seguirão as recomendações porque perceberam por experiência que os algoritmos fazem escolhas melhores. As recomendações podem nunca ser perfeitas, mas não precisam ser. Eles apenas precisam ser melhores, em média, do que os seres humanos. Isso não é impossível porque os seres humanos muitas vezes cometem erros terríveis, mesmo nas decisões mais importantes de suas vidas. Este não é um cenário futuro. Já damos aos algoritmos autoridade para decidir quais filmes assistir e quais livros comprar. Porém, quanto mais você confia no algoritmo, mais você perde a capacidade de tomar decisões por conta própria. Depois de alguns anos seguindo as recomendações do Google Maps, você não tem mais o instinto de para onde ir. Você não conhece mais sua cidade. Portanto, embora teoricamente você ainda tenha autoridade, na prática essa autoridade está mudando para o algoritmo.

(Entrevista ao Nautilus em 27 de dezembro de 2018)

E por que devemos nos preocupar com esse cenário?

Os partidos fascistas nos anos trinta e a KGB soviética controlavam as pessoas. Mas não conseguiam seguir todos os indivíduos pessoalmente nem manipulá-los individualmente porque não tinham a tecnologia. Nós começamos a tê-la. Graças ao big data, à inteligência artificial e ao aprendizado por máquinas, pela primeira vez na história começa a ser possível conhecer uma pessoa melhor do que ela mesma, hackear seres humanos, decidir por eles. Além disso, começamos a ter o conhecimento biológico necessário para entender o que está acontecendo em seu interior, em seu cérebro. Temos uma compreensão cada vez maior da biologia. O grande assunto são os dados biométricos. Não se trata apenas dos dados que você deixa quando clica na web, que dizem aonde você vai, mas dos dados que dizem o que acontece no interior de seu corpo. Como as pessoas que usam aplicativos que reúnem informações constantes sobre a pressão arterial e as pulsações. Agora um governo pode acompanhar esses dados e, com capacidade de processamento suficiente, é possível chegar ao ponto de me entender melhor do que eu mesmo. Com essa informação, pode facilmente começar a me manipular e controlar da forma mais efetiva que jamais vi.

(Entrevista ao El Pais em 20 de agosto de 2018)

Quando você fala que a gente pode ser hackeado, o que significa, exatamente?!

Estamos entrando em uma era de hackear humanos. E eu diria que o fato mais importante que qualquer pessoa viva hoje precisa saber sobre o século 21 é que estamos nos tornando animais que podem ser hackeados.

Começa com empresas e governos acumulando enormes quantidades de dados sobre aonde vamos, o que pesquisamos online e o que compramos. Mas tudo isso são informações superficiais sobre nosso comportamento no mundo. O grande divisor de águas virá quando você começar a monitorar e pesquisar o que está acontecendo dentro de seu corpo e dentro de seu cérebro. Então você pode realmente hackear seres humanos e estamos muito perto disso.

Muitas pessoas já usam os rastreadores fitness Fitbit que medem constantemente sua frequência cardíaca e pressão arterial. Você cruza isso com o que compra e o que pesquisa online, ou com o que lê ou assiste na televisão. Você assiste a um filme e, ao mesmo tempo, a Netflix sabe o que está acontecendo com sua frequência cardíaca ou com seu cérebro.

Quando você combina nosso crescente entendimento da biologia, especialmente da ciência do cérebro, com o enorme poder de computação que o aprendizado de máquina e a IA estão nos dando, o que você obtém dessa combinação é a capacidade de hackear humanos, o que significa prever suas escolhas, para entender seus sentimentos, para manipulá-los e também para substituí-los. Se você pode hackear algo, também pode substituí-lo.

(Entrevista à rede de TV Al Jazeera publicada em 24 de agosto de 2018)

Mas você acha mesmo possível que o que a gente sente seja manipulado, como fica o livre arbítrio?

Os humanos têm um arbítrio – mas ele não é livre. Você não tem a prerrogativa de decidir que desejos terá. Não decide se vai ser introvertido ou extrovertido, descontraído ou ansioso, gay ou hétero. Os humanos fazem escolhas – mas elas nunca são escolhas independentes. Cada escolha depende de um monte de condições biológicas, sociais e pessoais que você não é capaz de determinar por si mesmo. Sou capaz de decidir o que comer, com quem me casar e em quem votar, mas essas escolhas são determinadas em parte por meus genes, minha bioquímica, meu gênero, meu contexto familiar, minha cultura nacional etc – e eu não escolhi quais genes ou qual família ter.

(…) Se você observar cuidadosamente a sua mente, vai se dar conta de que tem pouco controle sobre o que está acontecendo lá e de que não está escolhendo livremente o que pensar, o que sentir e o que querer.

(Artigo “O Mito da Liberdade” publicado traduzido na Veja em 28 de dezembro de 2018)

O que eu quero dizer é que se você quer seguir o seu coração, você deve ter cuidado. Porque se algo assiste e monitora seu coração 24 horas por dia e conhece mais o seu coração do que você, você pode ser um agente duplo.

(Artigo de sua autoria publicado no Wall Street Journal em 1 de maio de 2020)

Quando esse tipo de manipulação tecnológica deve começar a acontecer?

Na verdade, já vimos um vislumbre disso na última epidemia de notícias falsas.

Sempre houve notícias falsas, mas o que é diferente desta vez é que você pode personalizar a história para indivíduos específicos, porque você conhece o preconceito desse indivíduo em particular. Quanto mais as pessoas acreditam no livre arbítrio, que seus sentimentos representam alguma capacidade espiritual mística, mais fácil é manipulá-las, porque não pensarão que seus sentimentos estão sendo produzidos e manipulados por algum sistema externo.

(Entrevista ao The Guardian em 5 de agosto de 2018)

Talvez o mais difícil da gente encarar é que a natureza dos dados e da análise de grande quantidade de dados exige a centralização – e que pode ir contra o que entendemos como democracia…

A IA possibilita o processamento de enormes quantidades de informações de maneira centralizada. Na verdade, ele pode tornar os sistemas centralizados muito mais eficientes do que os sistemas difusos, porque o aprendizado de máquina funciona melhor quando a máquina tem mais informações para analisar. Se você desconsiderar todas as preocupações com a privacidade e concentrar todas as informações relacionadas a um bilhão de pessoas em um banco de dados, acabará com algoritmos muito melhores do que se respeitar a privacidade individual e tiver em seu banco de dados apenas informações parciais sobre um milhão de pessoas. Um governo autoritário que ordena que todos os seus cidadãos tenham seu DNA sequenciado e compartilhem seus dados médicos com alguma autoridade central ganharia uma vantagem imensa em genética e pesquisa médica sobre sociedades nas quais os dados médicos são estritamente privados. A principal desvantagem dos regimes autoritários no século 20 – o desejo de concentrar todas as informações e poder em um só lugar – pode se tornar sua vantagem decisiva no século 21.

As novas tecnologias continuarão a surgir, é claro, e algumas delas podem encorajar a distribuição em vez da concentração de informação e poder. A tecnologia Blockchain, e o uso de criptomoedas habilitadas por ela, é atualmente apresentado como um possível contrapeso à energia centralizada. Mas a tecnologia de blockchain ainda está em estágio embrionário, e ainda não sabemos se ela irá de fato contrabalançar as tendências centralizadoras da IA. Lembre-se de que a Internet também foi alardeada em seus primeiros dias como uma panaceia libertária que libertaria as pessoas de todos os sistemas centralizados – mas agora está posicionada para tornar a autoridade centralizada mais poderosa do que nunca.

(Artigo de sua autoria publicado na The Atlantic na edição de outubro de 2018)

Por ultimo, algumas pessoas acham as suas visões de futuro pessimistas, o que você fala para essas pessoas?

O que eu faço não é uma profecia. É só uma possibilidade. Ainda podemos evitar que o pior ocorra. Para que isso seja possível, precisamos nos conscientizar de que o progresso real nunca ocorre por si próprio. A mera invenção de tecnologias não é suficiente para melhorar a vida. Toda inovação tecnológica pode ser usada para diferentes propósitos — alguns bons, outros ruins. Precisamos garantir que seja empregada em benefício de toda a humanidade, e não só de poucos.

(Entrevista à revista Veja publicada em 18 de setembro de 2019)

Está perdido?

A Ghost Interview é um formato de storytelling criado pelo MORSE, aqui reunimos as principais entrevistas, vídeos e conteúdos de ícones que com certeza você gostaria de convidar para um jantar! Tentamos ao máximo manter as palavras e o contexto das entrevistas, mas as traduções ou mesmo adaptações podem gerar interpretações diversas. Por esse motivo compartilhamos sempre o link da íntegra das entrevistas e textos de onde extraímos os conteúdos. Dúvidas ou sugestões, portas sempre abertas 🙂