2022-02-16
常用Transformations()操作
rdd2 = rdd1.map(func)
对rdd1中的每个元素进行处理和输出
P51
rdd2 = rdd1.mapValues(func)
对rdd1中的每个<K,V&g
mactql的小站
本笔记是对《贝叶斯网络结构学习算法研究》论文进行学习时所写
首先通过摘要可以了解到该论文研究的方向，即在大数据情况下基于遗传算法的贝叶斯网络结构算法执行效率问题作者将混合方式的 BN 结构学习算法与 Spark 分布式计算平台结合在构建超结
3.1.1 重入锁ReentrantLock和synchronized的区别123456789101112public static ReentrantLock lock = new ReentrantLock();@Overridepub
java的IO分为字符流和字节流：
字节流一般处理图像数据或字节文件这类的二进制数据，其他数据一般是字符流
字符流：（以输入流为例）
字符流中最基本的CharArrayReader和StringReader，从字符数组或字符串的数据元
传输层有两个代表性的协议，TCP和UDP。TCP提供可靠的通信传输，而UDP用于让广播和细节控制交给应用的通信传输
6.1.1 传输层的定义IP首部有一个协议字段，用来标识网络层的上一层所采用的是哪一种的传输层协议，判断数据是TCP内容还是
17.1 完整的集合分类
ArrayList源码分析
ArrayList是一种集合类，其底层基于数组实现，所以查找操作可在O(1)的时间范围内实现
ArrayList允许空值和重复元素
当向ArrayList中添加的元素数量大于其底层数组
2022-02-13
逻辑处理流程四部分：
数据源：从hdfs，hbase甚至内存里的数据结构，流式处理还可以是网络流
数据模型：
MR里面是<K,V>形式的，只能map(K,V)或者reduce(K,list(V))，不灵活。而spark用的是R
2022-02-08
步骤：
画出解空间树型图
根据经验写出dfs需要的参数
写上结束条件
根据树型图写出for循环，并与图中每一层比较是否对应
接下来套回溯模版即可
若返回值需要存入数据结构且会被回溯清空，需要另外备份一份才能存入
使用案例1：leetc
2021-10-16
什么叫联合概率？联合概率：P(AB)代表了A、B两个事件同时发生的概率大小
什么叫条件概率？条件概率：P(A|B)表示A在B发生的条件下的发生的概率，当P(B)>0时，条件概率如下
2021-10-15
基本信息题目：《NAS-BERT: Task-agnostic and Adaptive-size BERT Compression with Neural Architecture Search》
理论方法阐释
首先给定一个Teache
2021-09-30
首先要了解宽依赖和窄依赖是什么？
窄依赖：每个RDD对应一个父RDD，每个父子RDD是一对一的关系
宽依赖：父RDD的partition被多个子RDD使用，父子RDD是错综复杂的关系
产生了shuffle操作就是宽依赖
什么是sta
2021-09-30
基本信息
题目：Distributed evolutionary algorithms and their models: A survey of the state-of-the-art
作者：Gong Y-J, Chen W-N, Zh
2021-09-24
什么是小文件问题？
HDFS上如果小文件很多，每个小文件都会在NameNode中占用150字节的内存空间
而在MR中每个小文件都会占一个block，每个block都会产生数据分片对应一个Map任务，导致Map任务特别多，消耗了很多启动Map
2021-09-21
基本信息
题目：Parallel and distributed architecture of genetic algorithm on Apache Hadoop and Spark
作者：Hao-chun Lu，F.J.Hwang，Y
2021-09-17
Redis常见数据类型上一章我们了解了Redis常见的五种数据类型，string、set、hash、sortedset、list，这里我们详细介绍一下
首先是stringstring可以存任何形式的内容，甚至是二进制数据或图片在这些操作的