2021-09-17
什么是Redis？
Redis是一个高性能的基于内存的Key-Value数据库
可以在N多条记录中根据条件非常快的查找一条或几条记录
Redis的数据格式是什么样的？
Redis数据格式为Key-Value
Key：String
Val
mactql的小站
本笔记是对《贝叶斯网络结构学习算法研究》论文进行学习时所写
首先通过摘要可以了解到该论文研究的方向，即在大数据情况下基于遗传算法的贝叶斯网络结构算法执行效率问题作者将混合方式的 BN 结构学习算法与 Spark 分布式计算平台结合在构建超结
3.1.1 重入锁ReentrantLock和synchronized的区别123456789101112public static ReentrantLock lock = new ReentrantLock();@Overridepub
java的IO分为字符流和字节流：
字节流一般处理图像数据或字节文件这类的二进制数据，其他数据一般是字符流
字符流：（以输入流为例）
字符流中最基本的CharArrayReader和StringReader，从字符数组或字符串的数据元
传输层有两个代表性的协议，TCP和UDP。TCP提供可靠的通信传输，而UDP用于让广播和细节控制交给应用的通信传输
6.1.1 传输层的定义IP首部有一个协议字段，用来标识网络层的上一层所采用的是哪一种的传输层协议，判断数据是TCP内容还是
17.1 完整的集合分类
ArrayList源码分析
ArrayList是一种集合类，其底层基于数组实现，所以查找操作可在O(1)的时间范围内实现
ArrayList允许空值和重复元素
当向ArrayList中添加的元素数量大于其底层数组
2021-09-09
默认情況下，一个算子函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中，此时每个task只能操作自己的那份变量数据Spark提供了两种共享变量，一种是 Broadcast Variable(广播变量)，另一种是 Accu
2021-09-09
如何创建RDD？
创建RDD有三种方式
基于集合创建RDD：使用sparkContext的parallelize()方法，第一个参数传入集合，第二个参数传入partition数量。Spark会为每个partition执行一个task
12
2021-09-07
如何在IDEA中配置Spark开发环境？
首先自行下载scala，并在IDEA中加入scala的SDK，因为spark2.4.3依赖scala2.11，故这里下载scala2.11.11
并在pom.xml中添加spark2.4.3的
2021-09-06
需求分析：读取文件所有内容，统计每个单词出现的次数
首先介绍一下如何用Scala在本地运行WordCount
第一步，首先要构建Application的运行环境，Driver创建一个SparkContext
1234val conf =
2021-09-04
首先了解一下大数据处理框架的四层结构
上图所示，即大数据处理框架四层结构，下面将逐一介绍
用户层
这一层主要是准备输入数据、Spark或Hadoop的用户代码、配置参数
输入数据：一般以分块形式存在HDFS或者Hbase或数据库中
用户
2021-09-02
Scala高级特性一：模式匹配
Scala模式匹配类似于Java的switchcase，但是更加强大，甚至可以匹配变量类型、集合元素、有值没值
语法格式为：变量 match { case值 => 代码 }123456789101112
2021-09-02
Scala函数式编程特性一：函数赋值给变量
把函数赋值给变量,函数名+空格+_12345678//首先有一个函数def fun(A:String){ ...}//把函数赋值给变量,空格+_即可val A = fun _/
2021-09-01
Scala的类和对象几乎和Java一样1234567891011class Point(xc: Int, yc: Int) { //构造函数是直接放在Class的参数列表里，这里和Java不同 var x: Int = xc
2021-09-01
如何申明变量和常量
val：常量
var：变量
1234//数据类型如果不指定，会自动根据表达式来推断val answer = 0//也可以指定数据类型val answer: Int = 1
那么Scala有哪些数据类型呢？
基本数据类型