java.io.IOException

Could not read footer: java.lang.RuntimeException: file:/home/noootsab/data/genomics/sim_reads_aligned.bam.adam/part-r-00000.gz.parquet.crc is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [88, 94, 33, 60]

Solutions on the web22753

  • Could not read footer: java.lang.RuntimeException: file:/home/noootsab/data/genomics/sim_reads_aligned.bam.adam/part-r-00000.gz.parquet.crc is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [88, 94, 33, 60]
  • via GitHub by andypetrella
    , 1 year ago
    Could not read footer: java.lang.RuntimeException: file:/home/noootsab/data/genomics/sim_reads_aligned.bam.adam/part-r-00000.gz.parquet.crc is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [88, 94, 33, 60]
  • Could not read footer: java.lang.RuntimeException: hdfs://demeter-nn1.demeter.hpc.mssm.edu:8020/user/willir31/data/set3/normal/set3.normal.fq/part-01487 is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [67, 68, 67, 10]
  • Stack trace

    • java.io.IOException: Could not read footer: java.lang.RuntimeException: file:/home
    • oootsab/data/genomics/sim_reads_aligned.bam.adam/part-r-00000.gz.parquet.crc is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [88, 94, 33, 60] at parquet.hadoop.ParquetFileReader.readAllFootersInParallel(ParquetFileReader.java:238) at parquet.hadoop.ParquetFileReader.readAllFootersInParallelUsingSummaryFiles(ParquetFileReader.java:179) at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:400) at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:372) at parquet.hadoop.ParquetInputFormat.getSplits(ParquetInputFormat.java:256) at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:95) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:219) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:217) at scala.Option.getOrElse(Option.scala:120) at org.apache.spark.rdd.RDD.partitions(RDD.scala:217) at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:32) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:219) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:217) at scala.Option.getOrElse(Option.scala:120) at org.apache.spark.rdd.RDD.partitions(RDD.scala:217) at org.apache.spark.SparkContext.runJob(SparkContext.scala:1512) at org.apache.spark.rdd.RDD.count(RDD.scala:1006) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:52) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:57) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:59) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:61) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:63) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:65) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:67) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:69) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:71) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:73) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:75) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:77) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:79) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:81) at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:83) at $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:85) at $iwC$$iwC$$iwC$$iwC.<init>(<console>:87) at $iwC$$iwC$$iwC.<init>(<console>:89) at $iwC$$iwC.<init>(<console>:91) at $iwC.<init>(<console>:93)

    Write tip

    You have a different solution? A short tip here would help you and many other users who saw this issue last week.

    Users with the same issue

    You are the first who have seen this exception. Write a tip to help other users and build your expert profile.