初识贝叶斯网络与遗传算法
本笔记是对《贝叶斯网络结构学习算法研究》论文进行学习时所写 首先通过摘要可以了解到该论文研究的方向，即在大数据情况下基于遗传算法的贝叶斯网络结构算法执行效率问题作者将混合方式的 BN 结构学习算法与 Spark 分布式计算平台结合在构建超结
阅读更多
第3章 JDK并发包
3.1.1 重入锁ReentrantLock和synchronized的区别123456789101112public static ReentrantLock lock = new ReentrantLock();@Overridepub
阅读更多
第3章 垃圾回收
怎么判断对象是否需要回收？ 引用计数法：给对象添加一个引用计数器，每有一个地方引用它就+1，引用失效就-1，如果是0则回收。 优点：效率高；缺点：无法回收循环引用的对象 可达性分析法：当一个对象到GC Roots对象没有任何引用链，则
阅读更多
第18章 java I/O
java的IO分为字符流和字节流： 字节流一般处理图像数据或字节文件这类的二进制数据，其他数据一般是字符流 字符流：（以输入流为例） 字符流中最基本的CharArrayReader和StringReader，从字符数组或字符串的数据元
阅读更多
第6章 TCP与UDP
传输层有两个代表性的协议，TCP和UDP。TCP提供可靠的通信传输，而UDP用于让广播和细节控制交给应用的通信传输 6.1.1 传输层的定义IP首部有一个协议字段，用来标识网络层的上一层所采用的是哪一种的传输层协议，判断数据是TCP内容还是
阅读更多
浏览器是怎样通信的
第1步，从在浏览器中输入网址开始： 首先网址就是URL，通常是访问web服务器，用”http:”，即HTTP协议 URL的格式会随着协议的不同而不同 URL的各种格式如下： 访问Web服务器或FTP服务器时，URL包括域名和文件路径名，有时
阅读更多
第17章 集合深入研究
17.1 完整的集合分类 ArrayList源码分析 ArrayList是一种集合类，其底层基于数组实现，所以查找操作可在O(1)的时间范围内实现 ArrayList允许空值和重复元素 当向ArrayList中添加的元素数量大于其底层数组
阅读更多
第11章 集合
11.2 基本概念 Collection接口： List接口： LinkedList：链表，没有同步，线程不安全 ArrayList：数组，没有同步，线程不安全 Vector：数组，同步，线程安全 Stack：继承Vector，线程安全
阅读更多

推荐文章

Spark资源参数调优
Spark资源参数调优Spark资源参数讨论 美团性能优化指南 配置资源前牢记的一些理论 Hadoop/Yarn/O
阅读更多
Spark实现基于GA的BN结构学习
本笔记是对《贝叶斯网络结构学习算法研究》论文进行学习时所写上篇文章我们了解了什么是HDFS、MapReduce和Spar
阅读更多
初识Spark及HDFS与MR
本笔记是对《贝叶斯网络结构学习算法研究》论文进行学习时所写上篇文章我们了解了什么是BN结构学习算法以及GA算法该论文还需
阅读更多
初识贝叶斯网络与遗传算法
本笔记是对《贝叶斯网络结构学习算法研究》论文进行学习时所写 首先通过摘要可以了解到该论文研究的方向，即在大数据情况下基于
阅读更多
第4章 锁的优化
4.1 锁的优化有哪些点？ 减少锁的持有时间：尽量避免对整个方法synchronized，只在必要时进行synchron
阅读更多
第3章 JDK并发包
3.1.1 重入锁ReentrantLock和synchronized的区别123456789101112public
阅读更多
第3章 垃圾回收
怎么判断对象是否需要回收？ 引用计数法：给对象添加一个引用计数器，每有一个地方引用它就+1，引用失效就-1，如果是0则
阅读更多
第17章 集合深入研究
17.1 完整的集合分类 ArrayList源码分析 ArrayList是一种集合类，其底层基于数组实现，所以查找操作
阅读更多
第11章 集合
11.2 基本概念 Collection接口： List接口： LinkedList：链表，没有同步，线程不安全 A
阅读更多
2022-06-11
牛客SQL1-20题
牛客网SQL题库
牛客SQL1-20题SQL1查找最晚入职员工的所有信息,现在给一张员工表 注意：这个业务有可能存在最晚入职员工有多个的情况，OLAP场景 123456789101112//考虑最晚的员工如果不止一个的情况//先找到最晚的hire_data
2022-04-15
Redis字典
《Redis设计与实现》读书笔记
Redis字典字典是用于保存键值对的抽象数据结构。当一个哈希键包含的键值对比较多时，或者键值对中的元素都是比较长的字符串时，Redis就会使用字典作为哈希键的底层实现 字典的定义Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多
2022-04-09
Spark资源参数调优
Spark性能优化
Spark资源参数调优Spark资源参数讨论 美团性能优化指南 配置资源前牢记的一些理论 Hadoop/Yarn/OS的守护进程，例如 NameNode、Secondary NameNode、DataNode、JobTracker 和
2022-02-26
内存管理机制
《Apache Spark设计与实现》读书笔记
内存管理机制一方面，在Spark执行过程中，需要在内存中处理大量数据。另一方面，数据缓存机制也会在内存中缓存大量数据避免重复计算。所以，需要设计一个内存管理机制 内存消耗的来源首先我们要梳理一下spark中内存消耗的来源： 第一个就是用户
2022-02-24
错误容忍机制
《Apache Spark设计与实现》读书笔记
错误容忍机制在使用Spark大数据处理的过程中，有时候会出现一些软硬件故障导致任务执行失败和数据丢失，这时候就需要设计一个容错机制来解决以下问题： 硬盘网络问题、节点挂了、内容不够等问题从而IO异常、响应超时等导致任务执行失败 节点挂了导
2022-02-23
数据缓存机制
《Apache Spark设计与实现》读书笔记
数据缓存机制数据缓存机制是什么？在执行数据操作算子的过程中，可能会对一些数据多次访问，需要花费大量时间。Spark提供了数据缓存机制，可以把这些数据缓存起来，加快处理速度。 我们来看一个具体的例子： 之前我们学过了job是根据action
2022-02-18
Spark中的Shuffle机制
《Apache Spark设计与实现》读书笔记
在之前章节，我们了解了Spark如何将逻辑处理流程转化为物理执行计划，也学习了如何执行计算任务(task)，但是没有详细讨论上下游stage之间和不同节点上的task之间是如何传递数据的，这个数据传递过程实际就是Shuffle机制。 什么是
2022-02-17
Spark物理执行计划
《Apache Spark设计与实现》读书笔记
本章的核心问题是如何将逻辑处理流程转化为物理执行计划，下面将详细讲解，请读者结合大数据处理框架图进行学习 物理执行计划生成方法： Spark采用3个步骤来生成物理执行计划，下面将详细介绍这三个步骤 根据action()操作顺序将应用划分为作
1 / 8
下一页

Copyright © 2021 - 2022 mactql

本站总访问量： 次 |