Spark 入门

Spark概述

官方网站:http://spark.apache.org

阅读全文

Spark 优化

钨丝计划

钨丝计划(Project Tungsten),让spark更接近硬件

钨丝计划是Spark项目自启动以来,有史以来最大的变化

阅读全文

Spark SQL

概述

Spark SQL是用于结构化数据处理的Spark模块与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部,Spark SQL使用这些额外的信息来执行额外的优化。有几种方法可以与Spark SQL交互,包括SQL、DataFrame API和DataSets API。当计算结果时,使用相同的执行引擎,而与您用来表示计算的API/语言无关。这种统一意味着开发人员可以很容易地在各种API之间来回切换,基于这些API提供了表示给定转换的最自然的方式

阅读全文

Spark Streaming

概述

Spark Streaming是Spark Core API的扩展,它支持对实时数据流进行可扩展、高吞吐量、容错的流失处理

数据可以从许多源(如kafka、flume或tcp socket)中提取,并可以使用复杂的算法(例如:map、reduce、join或window等高级函数)进行处理,最后将处理后的数据推送到文件系统、数据库或实时仪表盘中

阅读全文

Spring

Spring概述

官方网站:https://spring.io

阅读全文

Spring Boot

Spring Boot概述

Spring在J2EE开发中是实际意义的标准,但我们在开发Spring时可能会遇到以下问题

阅读全文

Spring MVC

SpringMVC入门

概述

SpringWebMVC是基于servlet API构建的原始Web框架,使用了MVC架构模式的思想,将web层进行职责解耦,基于请求驱动指的就是使用请求-响应模型,框架的目的就是帮助我们简化开发

阅读全文

SVN 常用命令

检出

1
2
3
4
5
6
7
8
9
10
11
12
13
svn
co http://路径(目录或文件的全路径) [本地目录全路径]
--username 用户名 --password 密码svn co svn://路径(目录或文件的全路径) [本地目录全路径] --username用户名 --password 密码
svn checkout http://路径(目录或文件的全路径) [本地目录全路径] --username 用户名
svn checkout svn://路径(目录或文件的全路径) [本地目录全路径] --username 用户名
注:如果不带--password 参数传输密码的话,会提示输入密码,建议不要用明文的--password 选项。
  其中 username 与 password前是两个短线,不是一个。
  不指定本地目录全路径,则检出到当前目录下。
例子:
svn cosvn://localhost/测试工具 /home/testtools --username wzhnsc
svn co http://localhost/test/testapp--username wzhnsc
svn checkout svn://localhost/测试工具/home/testtools--username wzhnsc
svn checkouthttp://localhost/test/testapp--username wzhnsc

阅读全文

yum 与 apt-get 的区别

软件包管理器对比

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

yum和apt-get的区别
Linux系统基本分为两大类:
1、Redhat系列:Redhat、Centos、Fedora等
2、Debian系列:Debian、Ubuntu等

Redhat系列
1、常见的安装包格式为:rpm包,安装rpm包的命令是:rpm-参数
2、包的管理工具:yum
3、支持tar包

Debian系列
1、常见的安装包格式为:deb包,安装deb包的命令是:dpkg-参数
2、包的管理工具:apt-get
3、支持tar包

# yum install xxx   安装xxx软件
# yum info xxx   查看xxx软件的信息
# yum remove xxx      删除软件包
# yum list 列出软件包
# yum clean 清除缓冲和就的包
# yum provides xxx 以xxx为关键字搜索包(提供的信息为关键字)
# yum search xxx    搜索软件包(以名字为关键字)
# yum groupupdate xxx     更新xxx软件分组
# yum grouplist xxx
# yum groupremove xxx
# yum groupinfoinfo xxx
这三个都是一组为单位进行升级 列表和删除的操作。。比如 "Mysql Database"就是一个组会同时操作相关的所有软件包;
# yum update 系统升级
# yum list available 列出所有升级源上的包;
# yum list updates 列出所有升级源上的可以更新包;
# yum list installed 列出已经安装的包;
# yun update kernel 升级内核;

阅读全文