文章/答案/技术大牛

发布

社区首页 >问答首页 >火花Conf Scala

问火花Conf Scala
EN

Stack Overflow用户

提问于 2018-04-02 01:06:43

回答 1查看 3.7K关注 0票数 0

请原谅新手的问题，首先，因为我试图学习星星之火和斯卡拉在intellij。

我为我的build.sbt添加了下面的依赖项，它编译得很好。

name := "learning project"

version := "0.1"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0"

但是，当我去创建scala类时，以及当我尝试导入

import org.apache.spark.SparkConf
import org.apache.spark._

它显示了一个错误，说没有找到符号。

我检查我的项目的库和sbt: org.apache.sight:spark_2.11:2.1.0:jar文件。

因此，我不知道自己做错了什么。

scala

apache-spark

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-04-02 01:25:59

尝试sbt clean并可能删除.idea文件夹并重新导入项目。

还有，试试这段代码，

import org.apache.spark._

object WordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("Simple Application")
      .setMaster("local")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("src/main/resources/word_count.text").cache()
    val wordCounts = lines.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey((a, b) => a + b)

    for ((word, count) <- wordCounts)
      println(word + " : " + count)
    sc.stop()
  }
}

我希望能澄清一些事情:)

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49604135

复制

相似问题

问火花Conf Scala
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花Conf ScalaEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花Conf Scala
EN