官方网站:http://spark.apache.org
阅读全文
钨丝计划(Project Tungsten),让spark更接近硬件
钨丝计划是Spark项目自启动以来,有史以来最大的变化
Spark SQL是用于结构化数据处理的Spark模块与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部,Spark SQL使用这些额外的信息来执行额外的优化。有几种方法可以与Spark SQL交互,包括SQL、DataFrame API和DataSets API。当计算结果时,使用相同的执行引擎,而与您用来表示计算的API/语言无关。这种统一意味着开发人员可以很容易地在各种API之间来回切换,基于这些API提供了表示给定转换的最自然的方式
Spark Streaming是Spark Core API的扩展,它支持对实时数据流进行可扩展、高吞吐量、容错的流失处理
数据可以从许多源(如kafka、flume或tcp socket)中提取,并可以使用复杂的算法(例如:map、reduce、join或window等高级函数)进行处理,最后将处理后的数据推送到文件系统、数据库或实时仪表盘中
官方网站:https://spring.io
Spring在J2EE开发中是实际意义的标准,但我们在开发Spring时可能会遇到以下问题
SpringWebMVC是基于servlet API构建的原始Web框架,使用了MVC架构模式的思想,将web层进行职责解耦,基于请求驱动指的就是使用请求-响应模型,框架的目的就是帮助我们简化开发
12345678910111213
svnco http://路径(目录或文件的全路径) [本地目录全路径]--username 用户名 --password 密码svn co svn://路径(目录或文件的全路径) [本地目录全路径] --username用户名 --password 密码svn checkout http://路径(目录或文件的全路径) [本地目录全路径] --username 用户名svn checkout svn://路径(目录或文件的全路径) [本地目录全路径] --username 用户名注:如果不带--password 参数传输密码的话,会提示输入密码,建议不要用明文的--password 选项。 其中 username 与 password前是两个短线,不是一个。 不指定本地目录全路径,则检出到当前目录下。例子:svn cosvn://localhost/测试工具 /home/testtools --username wzhnscsvn co http://localhost/test/testapp--username wzhnscsvn checkout svn://localhost/测试工具/home/testtools--username wzhnscsvn checkouthttp://localhost/test/testapp--username wzhnsc
123456789101112131415161718192021222324252627282930313233
yum和apt-get的区别Linux系统基本分为两大类:1、Redhat系列:Redhat、Centos、Fedora等2、Debian系列:Debian、Ubuntu等Redhat系列1、常见的安装包格式为:rpm包,安装rpm包的命令是:rpm-参数2、包的管理工具:yum3、支持tar包Debian系列1、常见的安装包格式为:deb包,安装deb包的命令是:dpkg-参数2、包的管理工具:apt-get3、支持tar包# yum install xxx 安装xxx软件# yum info xxx 查看xxx软件的信息# yum remove xxx 删除软件包# yum list 列出软件包# yum clean 清除缓冲和就的包# yum provides xxx 以xxx为关键字搜索包(提供的信息为关键字)# yum search xxx 搜索软件包(以名字为关键字)# yum groupupdate xxx 更新xxx软件分组# yum grouplist xxx# yum groupremove xxx# yum groupinfoinfo xxx这三个都是一组为单位进行升级 列表和删除的操作。。比如 "Mysql Database"就是一个组会同时操作相关的所有软件包;# yum update 系统升级# yum list available 列出所有升级源上的包;# yum list updates 列出所有升级源上的可以更新包;# yum list installed 列出已经安装的包;# yun update kernel 升级内核;