最近毕设需要用到 Spark 集群，所以就记录下了部署的过程。我们知道 Spark 官方提供了三种集群部署方案： Standalone, Mesos, YARN。其中 Standalone 最为方便，本文主要讲述结合 YARN 的部署方案。 继续阅读“Spark On YARN 集群安装部署 | Jark’s Blog”
月度归档： 2015 年 8 月
Spark部署及应用 – – IT之家
——访Spark亚太研究院院长、首席专家王家林
大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长。目前Spark的技术在国内还属于起步阶段，为了更好地帮助大家了解Spark技术特点及应用前景，我们走访了Spark亚太研究院的院长王家林。 继续阅读“Spark部署及应用 – – IT之家”
Spark技术解析及其在百度最大千台单集群的应用实践-CSDN.NET
摘要：2015年1月10日，一场基于Spark的高性能应用实践盛宴由Databricks软件工程师连城、百度高级工程师甄鹏、百度架构师孙垚光、百度美国研发中心高级架构师刘少山四位专家联手打造。 继续阅读“Spark技术解析及其在百度最大千台单集群的应用实践-CSDN.NET”
亚洲第一科幻《三体》到底牛在哪？_视点·观察_cnBeta.COM
周日，《三体》拿下了科幻界“诺贝尔”-雨果奖，成为第一个拿下这一奖项的亚洲作家。虽然说雨果奖的份量如何，其实仁者见仁智者见智，但是不能否认的是《三体》确实创造了亚洲第一。其实以目前《三体》取得的成就，纵览亚洲作家无人能出其右。
Http get,post,soap协议的区别 – chl – 博客园
1.Http作为web服务的首选协议，居有4大优点： 继续阅读“Http get,post,soap协议的区别 – chl – 博客园”
php中创建和调用webservice接口示例_php实例_脚本之家
这篇文章主要介绍了php中创建和调用webservice接口示例,包括webservice基本知识、webservice服务端例子、webservice客户端例子,需要的朋友可以参考下 继续阅读“php中创建和调用webservice接口示例_php实例_脚本之家”
《三体》勇夺雨果奖 现场实录_cnBeta 最新消息_cnBeta.COM
北京时间23日下午1时，第73届雨果奖在华盛顿州斯波坎会议中心正式揭晓。中国作家刘慈欣凭借科幻小说《三体》（英文版第一部）获最佳长篇小说奖，这是亚洲人首次获得该奖项。刘慈欣并未亲自前往美国，作为译者的刘宇昆代表上台领奖。
Spark安装与学习 – JerryLead – 博客园
摘要：Spark是继Hadoop之后的新一代大数据分布式处理框架，由UC Berkeley的Matei Zaharia主导开发。我只能说是神一样的人物造就的神器， 继续阅读“Spark安装与学习 – JerryLead – 博客园”
巧用云平台简化Spark集群与大数据部署 – 51CTO.COM
在日前于旧金山举办的Spark 2014峰会上，Databricks公司CEO Ion Stoica通过主题演讲公布了Databricks云——这是一套以Apache Spark开源处理引擎为核心构建而成的云平台，专门负责大数据处理工作。 继续阅读“巧用云平台简化Spark集群与大数据部署 – 51CTO.COM”
WSDL(Web服务描述语言)详细解析（全文转载学习用） – 苏玉召 – 博客园
WSDL (Web Services Description Language,Web服务描述语言)是一种XML Application，他将Web服务描述定义为一组服务访问点，客户端可以通过这些服务访问点对包含面向文档信息或面向过程调用的服务进行访问(类似远程过程调用)。WSDL首先对访问的操作和访问时使用的请求/响应消息进行抽象描述，然后将其绑定到具体的传输协议和消息格式上以最终定义具体部署的服务访问点。相关的具体部署的服务访问点通过组合就成为抽象的Web服务。 本文将详细讲解WSDL文档的结构，并分析每个元素的作用。 继续阅读“WSDL(Web服务描述语言)详细解析（全文转载学习用） – 苏玉召 – 博客园”
【原】原生态手写wsdl文件 – 胡健 – 博客园
使用php编写WebService时，有两种方式：
1、不使用wsdl文件。采用这种方式时，只有php脚本能访问WebService。
2、使用wsdl文件。采用这种方式时，无论哪个平台，采用什么语言，都可以通过wsdl文件来访问WebService。wsdl文件就相当于Client端和Server端之间的通信契约。另外，在wsdl文件中还可以指定消息传输的方式，比如Soap、HTTP GET、HTTP POST等。
下面主要介绍如何手写一个wsdl文件。 继续阅读“【原】原生态手写wsdl文件 – 胡健 – 博客园”
【原】使用wsdl的注意事项 – 胡健 – 博客园
如果你对wsdl文件尚不熟悉，请参考我的这篇文章：【原】原生态手写wsdl文件。
1、之前将wsdl文件中的message定义如下： 继续阅读“【原】使用wsdl的注意事项 – 胡健 – 博客园”
Eclipse for PHP Developers安装PHP格式化插件pdt_tools.formatter – 大头爸爸的博客 – 博客频道 – CSDN.NET
一直纠结eclipse php插件版的PHP代码格式化功能太弱，今天偶尔机会看到下面这样的网站： 继续阅读“Eclipse for PHP Developers安装PHP格式化插件pdt_tools.formatter – 大头爸爸的博客 – 博客频道 – CSDN.NET”
搭建Windows下基于Eclipse的PHP开发环境 – 51CTO.COM
在配置Eclipse之前，首先需要一个Apache+PHP的基础环境，可以装wampp或php home，它们都是集成化安装，比较方便。建议装wampp2.2，集成Apache,MySQL,Perl,PHP。而且解压缩就可用。
下面我就以安装wampp2.2为例，一步一步的讲解一下，如何去配置基于Eclipse的PHP开发环境。 继续阅读“搭建Windows下基于Eclipse的PHP开发环境 – 51CTO.COM”
PHP IDE推荐与评测 ZendStudio VS.PHP PhpStorm – 码农场
这里列出能称得上IDE的三大IDE——ZendStudio，VS.PHP和PhpStorm。诸如EditPlus感觉很业余，只能补全库函数无法补全自定义的函数和变量，DW根本不是程序员用的顶多算个美工用的工具，vim配置复杂，花在vim上的心思可能比一个小项目都多，eclipse是ZendStudio的所依赖的IDE，不再列入。以上这些工具或许优秀，但是未必算得上功能齐全的IDE，请诸位vim粉丝或者notepad.exe的卫道士放过我。 继续阅读“PHP IDE推荐与评测 ZendStudio VS.PHP PhpStorm – 码农场”
[转]Eclipse下PHP开发 插件安装 – freeliver54 – 博客园
Eclipse的PHP插件Eclipse插件安装。重装了电脑后，以前配的环境又得重新配过，就当做复习吧。 继续阅读“[转]Eclipse下PHP开发 插件安装 – freeliver54 – 博客园”
Installation – PHPEclipse
The simplest way to install PHPEclipse is to use the PHPEclipse update site. 继续阅读“Installation – PHPEclipse”
PHPEclipse 官方网站
sqoop实现Mysql、Oracle与hdfs之间数据的互导 – zhangwx的专栏 – 博客频道 – CSDN.NET
SQOOP的描述
SQOOP是用于对数据进行导入导出的。 继续阅读“sqoop实现Mysql、Oracle与hdfs之间数据的互导 – zhangwx的专栏 – 博客频道 – CSDN.NET”
Spark集群部署 – zhangwx的专栏 – 博客频道 – CSDN.NET
Spark 集群
集群环境
基于hadoop集群64bit（hadoop2.5.1、jdk1.7）
CentOS 6.4下安装配置Spark-0.9集群 继续阅读“Spark集群部署 – zhangwx的专栏 – 博客频道 – CSDN.NET”