Usando o pyspark no Google Colab

Esta é a minha primeira pergunta aqui depois de usar muito StackOverflow, então corrija-me se eu der informações imprecisas ou incompletas

Até esta semana eu tinha um colab notebook configurado para rodar com o pyspark seguindo um dos muitos guias que encontrei na internet, mas esta semana começou a aparecer com alguns erros diferentes.

O código usado é basicamente este:

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz
!tar -xvf spark-3.0.0-preview2-bin-hadoop2.7.tgz
!pip install -q findspark
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.0.0-preview2-bin-hadoop2.7"
import findspark
findspark.init()

Tentei mudar a versão Java de 8 para 11 e usar todas as compilações do Spark disponíveis em https://downloads.apache.org/spark/e alterando os caminhos de HOME de acordo. Usei pip freezecomo visto em um guia para verificar a versão do Spark usada no colab e dizia pyspark 3.0.0, então tentei todos os da versão 3.0.0 e tudo que continuo recebendo é o erro:

Exception: Unable to find py4j, your SPARK_HOME may not be configured correctly

Não entendo muito sobre a necessidade de usar Java para isso, mas também tentei instalar o pyj4 !pip install py4je ele diz que já está instalado quando faço isso e tentei todos os guias diferentes na internet, mas não consigo executar o Spark código mais. Alguém sabe como consertar isso? Eu só uso o colab para fins de faculdade porque meu PC está bastante desatualizado e não sei muito sobre ele, mas eu realmente preciso fazer com que este notebook funcione de forma confiável e então como sei que é hora de atualizar as compilações importadas?

Seguindo este caderno de colab que funcionou para mim:

Primeira célula:

!pip install pyspark
!pip install -U -q PyDrive
!apt install openjdk-8-jdk-headless -qq
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"

e isso praticamente instala pyspark.

Mas siga estas etapas para também iniciar a IU do Spark, que é muito útil para entender os planos físicos, o uso de armazenamento e muito mais. Além disso: tem bons gráficos;)

Segunda célula:

from pyspark import SparkSession
from pyspark import SparkContext, SparkConf



# create the session
conf = SparkConf().set("spark.ui.port", "4050")

# create the context
sc = pyspark.SparkContext(conf=conf)
spark = SparkSession.builder.getOrCreate()

Terceira célula:

!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
get_ipython().system_raw('./ngrok http 4050 &')
!sleep 10
!curl -s http://localhost:4040/api/tunnels | python3 -c \
    "import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

depois disso, você verá um URL onde encontrará a UI do Spark; meu exemplo de saída foi:

--2020-10-03 11:30:58--  https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
Resolving bin.equinox.io (bin.equinox.io)... 52.203.78.32, 52.73.16.193, 34.205.238.171, ...
Connecting to bin.equinox.io (bin.equinox.io)|52.203.78.32|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 13773305 (13M) [application/octet-stream]
Saving to: ‘ngrok-stable-linux-amd64.zip.1’

ngrok-stable-linux- 100%[===================>]  13.13M  13.9MB/s    in 0.9s    

2020-10-03 11:31:00 (13.9 MB/s) - ‘ngrok-stable-linux-amd64.zip.1’ saved [13773305/13773305]

Archive:  ngrok-stable-linux-amd64.zip
replace ngrok? [y]es, [n]o, [A]ll, [N]one, [r]ename: y
  inflating: ngrok                   
http://989c77d52223.ngrok.io

e esse último elemento, http://989c77d52223.ngrok.io, era onde morava minha IU do Spark.

@Victor Eu também tive um problema semelhante. Isso é o que eu fiz.

1. Baixe o seu notebook jupyter existente da colab para o seu computador.

2. Crie um novo bloco de notas no colab

3. Execute o seguinte

   ! pip3 install pyspark

4. Carregue seu notebook na mesma sessão de colab.

5. Execute a sessão do Spark e verifique