2020年寒假假期總結0206

2022-09-23 01:41:59 字數 2911 閱讀 2965

spark-shell互動式程式設計

資料格式如下所示:

tom,database,80

tom,algorithm,50

tom,datastructure,60

jim,database,90

jim,algorithm,60

jim,datastructure,80

請根據給定的實驗資料,在 spark-shell 中通過程式設計來計算以下內容:

(1) 該系總共有多少學生;

(2) 該系共開設來多少門課程;

(3) tom 同學的總成績平均分是多少;

(4) 求每名同學的選修的課程門數;

(5) 該系 database 課程共有多少人選修;

(6) 各門課程的平均分是多少;

(7) 使用累加器計算共有多少人選了 database 這門課。

(1

)var students=sc.textfile("

file:///home/hadoop/test/chapter5-data1.txt")

var name=students.map(row=>row.split("

,")(0

))var namenumber=name.distinct()

println(namenumber.count)

(2

)var lessons=sc.textfile("

file:///home/hadoop/test/chapter5-data1.txt")

var lessonname=lessons.map(row=>row.split("

,")(1

))var lessonnumber=lessonname.distinct()

println(lessonnumber.count)

(3

)val students=sc.textfile("

file:///home/hadoop/test/chapter5-data1.txt")

val tom=students.filter(row=>row.split("

,")(0)=="

tom"

)tom.map(row=>(row.split("

,")(0),row.split("

,")(2).toint)).mapvalues(x=>(x,1)).reducebykey((x,y)=>(x._1+y._1,x._2+y._2)).mapvalues(x=>(x._1/x._2)).collect()

(4

)var temp = sc.textfile("

file:///home/hadoop/test/chapter5-data1.txt")

var student = temp.map(row=>(row.split("

,")(0),row.split("

,")(1

)))student.mapvalues(x => (x,1)).reducebykey((x,y) => ("

",x._2 + y._2)).mapvalues(x =>x._2).foreach(println)

(5

)var temp = sc.textfile("

file:///home/hadoop/test/chapter5-data1.txt")

var lesson = temp.filter(row=>row.split("

,")(1)=="

database")

println(lesson.count)

(6

)var temp = sc.textfile("

file:///home/hadoop/test/chapter5-data1.txt")

var lesson = temp.map(row=>(row.split("

,")(1),row.split("

,")(2

).toint))

lesson.mapvalues(x=>(x,1)).reducebykey((x,y)=> (x._1+y._1,x._2+ y._2)).mapvalues(x=>(x._1/x._2)).collect()

(7

)var temp = sc.textfile("file:///home/hadoop/test/chapter5-data1.txt")

var datebase = temp.filter(row=>row.split(",")(1)=="database").map(row=>(row.split(",")(1),1))

var accum = sc.longaccumulator("longaccumulator")

datebase.values.foreach(x => accum.add(x))

println(accum.value)

2020年2月17日寒假開學網上測試

2018級《軟體工程》 課前測試 200分鐘 河北省重大技術需求徵集系統原型 15分 1 專案需求 為了充分利用京津科技資源,破解我省產業轉型升級 綠色崛起所面臨的重大技術難題,按照廳領導指示,現面向重點產業 重點領域 重點企業 單位 徵集產業或領域關鍵技術難題,構建我省重大技術需求資料庫,特制定本...