Checkpoint con streaming di file spark in java

Ajit 2020-09-22 04:15.

Voglio implementare il checkpoint con l'applicazione spark file streaming per elaborare tutti i file non elaborati da hadoop se in ogni caso la mia applicazione spark streaming si interrompe / termina. Sto seguendo questo: guida alla programmazione in streaming , ma non ho trovato JavaStreamingContextFactory. Per favore aiutami cosa dovrei fare.

Il mio codice è

public class StartAppWithCheckPoint {

    public static void main(String[] args) {
        
        try {
            
            String filePath = "hdfs://Master:9000/mmi_traffic/listenerTransaction/2020/*/*/*/"; 
            String checkpointDirectory = "hdfs://Mongo1:9000/probeAnalysis/checkpoint";
            SparkSession sparkSession = JavaSparkSessionSingleton.getInstance();

            JavaStreamingContextFactory contextFactory = new JavaStreamingContextFactory() {
                  @Override public JavaStreamingContext create() {
                      
                    SparkConf sparkConf = new SparkConf().setAppName("ProbeAnalysis");
                    JavaSparkContext sc = new JavaSparkContext(sparkConf);  
                    JavaStreamingContext jssc = new JavaStreamingContext(sc, Durations.seconds(300));
                    JavaDStream<String> lines = jssc.textFileStream(filePath).cache();
                    
                    jssc.checkpoint(checkpointDirectory);
                    return jssc;
                  }
                };
                
            JavaStreamingContext context = JavaStreamingContext.getOrCreate(checkpointDirectory, contextFactory);
            
            context.start();
            context.awaitTermination();
            context.close();
            sparkSession.close();
            
        } catch(Exception e) {
            e.printStackTrace();
        }   
    }
}

java hadoop spark-streaming

1 answers

majid hajibaba 2020-09-22 07:01.

Devi usare Checkpointing

Per il checkpoint utilizzare trasformazioni stateful o updateStateByKeyo reduceByKeyAndWindow. Ci sono molti esempi in spark- examples forniti insieme a spark prebuild e spark source in git-hub. Per il tuo specifico, vedi JavaStatefulNetworkWordCount.java ;

Japanese Spanish German French Thai Portuguese Russian Vietnamese Italian Korean Turkish Indonesian Polish Hindi

MORE COOL STUFF

Jana Duggar: tutto ciò che ha detto sull'amore e sulla sua finestra di 5 anni per trovare "l'unico"

Jana Duggar è stata aperta sulla sua ricerca dell'amore. Ecco tutto ciò che ha detto sull'argomento e sulla sua finestra di cinque anni per il matrimonio.

2023-06-12.

Sam Heughan sa esattamente cosa prenderà dal set di 'Outlander': 'Mi sento come se fossi Jamie quando li indosso'

La star di 'Outlander' Sam Heughan ha recentemente rivelato cosa prenderà dal set per ricordare Jamie Fraser, il ruolo che lo ha reso una star.

2023-06-12.

La canzone dei primi Beatles che è stata una delle "esibizioni più entusiasmanti" della band, secondo un membro dei Fab Four

"She Loves You" è stata scritta in un'ora, registrata in un giorno ed è stata la canzone dei Beatles con una delle loro migliori performance della loro carriera.

2023-06-11.

Dolly Parton ha aiutato sua nonna "invalida" quando nessuno degli altri nipoti l'avrebbe fatto: le faceva anche uno scherzo

Dolly Parton e sua nonna Bessie avevano un rapporto speciale. Nonna Parton era molto malata, ma questo non ha impedito a Dolly di farle uno scherzo.

2023-06-11.

10 delle creature marine più spaventose che si nascondono nelle profondità dell'oceano

L'oceano è pieno di bellezza, ma nasconde anche alcune delle creature marine più spaventose del pianeta. Molti di questi animali si nascondono molto al di sotto della superficie dell'oceano, nel mondo oscuro e ad alta pressione delle profondità marine.

2025-10-29.

I 10 migliori incantesimi per le spade in Minecraft

Se stai combattendo contro nemici ostili o ti stai preparando per scenari PvP, conoscere i migliori incantesimi per le spade offerti da Minecraft può darti un vantaggio notevole. Incantare le spade ti permette di infliggere più danni, aumentare il numero di nemici che cadono e aumentare la durata della tua spada.

2025-10-29.

Il furgone delle consegne di Amazon prende fuoco in un'esplosione di fuoco durante la calura estiva di Houston

Le riprese dei droni hanno ripreso i vigili del fuoco che sembravano lottare per spegnere l'incendio.

2024-07-03 19:04.

Lo spettacolo Black Panther della Marvel sarà lo spettacolo animato più cruciale di sempre

Eyes of Wakanda si collega direttamente al MCU, oltre ad aggiornamenti su X-Men '97, What If..., Daredevil e altro ancora.

2024-07-03 19:03.

La storia sentimentale di Ava Gardner: uno sguardo ai matrimoni e alle storie d'amore dell'icona di Hollywood

Ava Gardner avrebbe dovuto sposarsi con Mickey Rooney e Frank Sintra, e frequentare diverse altre star di Hollywood. Ecco uno sguardo alla storia sentimentale di Ava Gardner.

2024-06-23.

3 modi comprovati per migliorare la tua abilità di scrittura

I vantaggi della scrittura e le strategie per aiutarti a farlo

Nel 2022, con il rilascio di GPT-3, l'abilità di scrittura sembra diventare meno importante. Con l'intelligenza artificiale, anche le persone con una scrittura scadente possono generare personale di qualità.

La lenta erosione: svelare i modi in cui le persone deperiscono nella loro carriera

Nel mondo frenetico e competitivo di oggi, la propria carriera gioca un ruolo significativo nella crescita personale, nella stabilità finanziaria e nella soddisfazione generale della vita. Tuttavia, molte persone si trovano intrappolate in un ciclo inesorabile di stagnazione e insoddisfazione, che si esauriscono gradualmente nella loro vita professionale.

Cosa rende influente un podcast?

La scorsa settimana ho notato un comunicato stampa, inviato tramite PressGazette (un sito Web di notizie sui media britannici). L'articolo annunciava che Acast, la società di hosting e pubblicità di podcast di Scandi, avrebbe guidato un consorzio di editori "probabilmente i più influenti" nel podcasting.

Language

Japanese

Spanish

German

French

Thai

Portuguese

Russian

Vietnamese

Italian

Korean

Turkish

Indonesian

Polish

Hindi

Checkpoint con streaming di file spark in java

1 answers

Related questions

MORE COOL STUFF

Jana Duggar: tutto ciò che ha detto sull'amore e sulla sua finestra di 5 anni per trovare "l'unico"

Sam Heughan sa esattamente cosa prenderà dal set di 'Outlander': 'Mi sento come se fossi Jamie quando li indosso'

La canzone dei primi Beatles che è stata una delle "esibizioni più entusiasmanti" della band, secondo un membro dei Fab Four

Dolly Parton ha aiutato sua nonna "invalida" quando nessuno degli altri nipoti l'avrebbe fatto: le faceva anche uno scherzo

Qual è il legno più duro del mondo?

10 delle creature marine più spaventose che si nascondono nelle profondità dell'oceano

I 10 migliori incantesimi per le spade in Minecraft

13 Paesi socialisti molto diversi tra loro

Il riepilogo di Bear: Marcus è l'uomo più gentile, tenero e sincero di Chicago?

A $ 9.800, li metteresti dentro in questa Toyota RAV4 del 2008 a sette posti?

Il furgone delle consegne di Amazon prende fuoco in un'esplosione di fuoco durante la calura estiva di Houston

Lo spettacolo Black Panther della Marvel sarà lo spettacolo animato più cruciale di sempre

La storia sentimentale di Ava Gardner: uno sguardo ai matrimoni e alle storie d'amore dell'icona di Hollywood

Chi è la moglie di John Cleese? Tutto su Jennifer Wade

Chi è la ragazza di Dev Patel? Tutto su Tilda Cobham-Hervey

Cronologia della relazione tra Garth Brooks e Trisha Yearwood

i pronomi sono super spaventosi

3 modi comprovati per migliorare la tua abilità di scrittura

I vantaggi della scrittura e le strategie per aiutarti a farlo

La lenta erosione: svelare i modi in cui le persone deperiscono nella loro carriera

Cosa rende influente un podcast?

Language