61阅读

linux环境配置-linux下hadoop配置过程

发布时间:2017-10-24 所属栏目:linux环境配置

一 : linux下hadoop配置过程

1,安装linux
本文假设从裸机开始,所以要先装linux。本人是ubuntu对支持者,所以装的是ubuntu,废话没有,很容易就装好了。在安装过程中,要注意所有节点对主机名应该有规律,比如node0, node1, node2 ...
2,准备
下面对软件对安装,全都使用了apt,这个软件需要互联网链接,如果你对网速极慢,或者根本链接不到外部网络(这个现象在教育网内很常见),可以从一个能上网对ubuntu电脑上的/var/cache/apt/archives文件夹里deb文件出来安装(什么?你问我这个文件夹里为什么没有想要的包,这个文件夹是apt对缓存文件夹,想要里面有你想要对东西,不用我提醒你应该怎么办了吧)。
ubuntu默认已经装好了openssh-client,需要安装openssh-server。命令如下:


sudo apt-get install openssh-server


然后是jdk:


sudo apt-get install default-jdk



3,配置网络
如果你的节点们可以通过dhcp服务器获得ip,我个人建议,这样做,原因是简单,不用怎么配置就搞定了。或者可以使用静态ip,作为一个牛b的linux大牛,应该可以通过一行命令来设置静态ip,但是我不会。我通常都是在gnome提供的网络管理器来设ip对。如果你用对linux里没有图形界面,那样请google。
设置好了ip地址之后,记忆在/etc/hosts文件中给每个节点起个名字,最好就是各自对主机名,这样有利于下面对配置和管理。
hadoop要求各节点间可以不需要输入密码就能用ssh互相登录。我使用了比官方方法简单一点方法来设置,但是据说安全性有点儿问题。下面是方法:
在某个节点上执行如下命令:


rm -rf ~/.ssh




ssh-keygen -t rsa


这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。


cat ~/.ssh/id_rsa.pub >> authorized_keys


然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。

这样网络就设置对差不多了。
4,安装hadoop
解压,这个比较简单,命令不写。解压对位置最好每个hadoop都一样,不一样有什么后果,我没试过。
之后要进行一些配置,首先进入解压后目录对conf文件夹,要修改对配置文件包括hadoop-env.sh hadoop-site.xml masters slaves
hadoop-env.sh中要uncomment下面一行:



export JAVA_HOME=/home/hadoop/jdk1.6.0_16/


当然具体的值,也要根据具体情况进行更改。
接下来是hadoop-site.xml,下面是我的文件内容。


<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node0:6000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>node0:6001</value>
</property>
</configuratiron>


这个例子很直白,不解释。

masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然如果你想要设置多个节点作为主节点,也可以。
slaves里面是所有tasktracker和datanode对主机名或ip地址。
5,运行
先进入hadoop安装文件夹。然后依次运行如下命令:


bin/hadoop namenode -format
bin/start-all.sh


不出意外的话,现在hadoop就可以使用了。

Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

二 : Linux下配置PHP开发环境

转载于:  

该站下有系列PHP文章。(www.61k.com]

在Linux下搭建PHP环境比Windows下要复杂得多。除了安装Apache,PHP等软件外,还要安装一些相关工具,设置必要参数。而且,如果要使用PHP扩展库,还要进行编译。安装之前要准备如下安装包:

  • http-2.2.8.tar.gz。下载地址:http://www.apache.org。
  • php-5.2.5.tar.gz。下载地址:http://www.php.net/downloads.php。
  • Mysql-5.0.5la-Linux-i686.tar.gz。下载地址:http://www.Mysql.com。
  • libxml2-2.6.26.tar.gz。

在Linux下配置php开发环境,需要注意以下几问题。

  1. 首先需要打开Linux终端(Linux下几乎所有的软件都需要在终端下安装)。打开RedHat9的“主菜单/系统工具”,在弹出的菜单中选择“终端”命令。
  2. 安装php5之前,需要首先查看libxml的版本号。如果libxml版本号小于2.5.10,则需要先安装libxml高版本。
  3. 在Linux下配置Apache和php,同样需要配置php.ini和httpd.conf。

Linux下安装Apache
首先到官方网站http://www.apache.org下载Linux的“http2.2.8.tar.gz”压缩包。
在Linux下安装和配置Apache服务器的操作步骤如下:

  • 进入到Apache安装文件的目录,如/usr/local/work。
  • 解压安装包,完成后进入到httpd2.2.8目录中, tar xfz httpd2.2.8.tar.gz    cd httd2.2.8
  • 建立makefile,将Apache服务器安装到user/local/Apache2下,./configure-prefix=/usr/local/Apache2-enable-module=so
  • 编译文件。make
  • 开始安装。 make install
  • 安装完成后,在终端窗口中键入如下命令启动或重启Apache服务。/usr/local/Apache2/bin/Apachect1 start                    /usr/local/Apache2/bin/Apachect1 restart
  • 打开Mozilla浏览器,在地址栏中输入“http://localhost/”,看看Apache服务器安装是否成功。

Linux下安装php
安装php5之前,需要首先查看libxml的版本号。如果libxml版本号小2.5.10,则需要先安装libxml高版本。安装libxml和php5的步骤如下:

  • 将libxml和php5复制到/usr/local/work目录下,并进入到该目录下。cd/usr/local/work
  • 分别将libxml2和php解压。tar xfz libxml2-2.6.62.tar.gz         tar xfz php-5.2.5.tar.gz
  • 进入到libxml目录,建立makfile,并libxml安装到/usr/local/libxml2下。cd libxml2-2.6.62     ./configure-prefix=/usr/local/libxml2
  • 编译文件。make
  • 开始安装。 make install
  • libxml2安装完毕,开始安装php5。进入到php-5.2.5目录下。 cd php-5.2.5
  • 建立makefile    .configure-with-apxs2=/usr/local/Apache2/bin/apxs\
  • 开始编译。 make。
  • 开始安装。 make install
  • 复制php.ini-dist或php.ini-recommended到/usr/local/lib目录,并命名为php.ini. cp php.ini-dist/usr/local/lib/php.ini
  • 更改httpd.conf文件相关设置,该文件位于/usr/local/Apache2/conf中。找到该文件中的如下指令行:addtype application/x-gzip.gz.tgz 在该指令后加入如下指令: addtype application/x-httpd-php.php  重新启动Apache,并在Apache主目录下建立文件phpinfo.php。<?php phpinfo();?>

Linux下安装Mysql
在Linux系统安装Mysql服务器需要到官方网站http://www.Mysql.com下载Linux下Mysql的安装包“mysql-5.0.5la-linux-i686.tar.gz”。
在Linux下安装和配置mysql服务器的操作步骤如下.

  1. 将下载的mysql-5.0.51a-linux-i686.tar.gz文件复制到/usr/local/work目录下,创建mysql账号,并加入组群。 groupadd mysql      useradd-g mysql mysql
  2. 进入到Mysql的安装目录,将其解压(例如:目录为/usr/local/mysql)。
  3. 考虑到mysql数据库升级的需要,所以通常以链接的方式建立/usr/local/mysql目录。
  4. 进入到mysql目录,在/usr/local/mysql/data中建立mysql数据库.
  5. 修改文件权限。
  6. 到此Mysql安装成功。用户可以通过在终端中键入命令启动Mysql服务。/usr/local/mysql/bin/mysqld_safe -user=Mysql& 启动后键入命令,进入Mysql。/user/local/mysql/bin/mysql -uroot

Linux下发布网站
Linux下发布基于PHP的网站,首先需要配置PHP的运行环境,其次需要对网卡参数进行设定。比如:

    1. 假设已经申请到了以下网络参数:ip:192.168.1.*  netmask:255.255.255.*   network:192.168.1.0   broadcast:192.168.1.*    gateway:192.168.1.*   主机名:abc DNS :168.95.1.*
    2. 将网站的所有文件复制到Apache主目录下。
    3. 设置主机名称。在终端窗口中键入如下命令编辑/etc/sysconfig/network文件:vi/ect/sysconfig/network 将文件中的参数NETQWORKING设置为yes,表示启动网络,将参数HOSTNAME设置abc,表示设置主机名为“abc”。
    4. 设置网卡参数。在终端窗口中键入如下命令编辑文件/ect/sysconfig/network-scripts/ifcfg-eth0:vi /etc/sysconfig/network-scripts/ifefg-eth0 按如下形式设置该文件的相关参数。DEVICE =eth0:设置网卡名称,要与ifcfg-eth0对应。ONBOOT=yes:指定在开机时启动网卡。BOOTPROTO=static:设定启动时获取IP的方式。 IPADDR=192.168.1.*:设定服务器IP地址。NETMASK=255.255.255.*:设定子网掩码。BROADCAST=192.168.1.*:设定同网段的广播地址。GETWAY=192.168.1.*:设定网卡的网关。

      扩展:linux配置php开发环境 / linux开发环境配置 / linux配置php环境

    5. 设置DNS主机的IP。在终端编辑/etc/resolv.conf文件:vi/etc/resoplv.conf  设置参数nameserver的值为168.95.1.*。
    6. 重新启动网络设置。在终端窗口中键入如下命令: /etc/rc.d/inin.d/network restart  ifdow eth0  ifup eth0
    7. 打开浏览器,在地址栏目中键入服务器IP地址或域名,能正常显示网站,说明发布成功。

扩展:linux配置php开发环境 / linux开发环境配置 / linux配置php环境

三 : ASIHTTPRequest的环境配置和使用示例

ASIHTTPRequest类库是基于ISO SDK的一组网络请求的API。[www.61k.com]IOS SDK的网络组件CFNetwork API操作起来非常复杂。而ASIHTTPRequest类库是对CFNetwork API的封装,提供了基于HTTP请求的各类操作接口。

比如:下载上传数据,获得HTTP头信息,支持cookie,支持缓存/压缩,端点续传等。

在这里特酷吧整理了ASIHTTPRequest环境的配置方法。

特酷吧采用的是xcode 4.2,到官方网站http://allseeing-i.com/ASIHTTPRequest/下载ASIHTTPRequest类库的源码,解压之后将Classes目录[删除目录下的text目录]和External目录直接加入到需要的iphone工程里。

下面就要添加链接库了。

Build Phases-Link Binary With Libraries-点击+号,依次添加CFNetwork.framework,SystemConfiguration.framework, MobileCoreServices.framework,CoreGraphics.framework和libz.1.2.3.dylib,libxml2.dylib这几个类库,同时配置头添加文件搜索路径:/usr/include/libxml2。这里注意一下,如果你创建的是基于mac的程序,那么可能无法找到MobileCoreServices.framework等库。

这样,ASIHTTPRequest的使用环境就应该是没有问题的,在自己的程序中使用:

#import “ASIHTTPRequest.h”

即可使用到ASIHTTPRequest类库中的大部分功能。

我们可以创建一个小例子来验证下:

NSURL *url = [NSURL URLWithString:@"http://www.tekuba.net"]; ASIHTTPRequest *request = [ASIHTTPRequest requestWithURL:url]; [request startSynchronous];//简单的测试,这里使用同步传输,程序会一直等待请求完成 NSError *error = [request error]; if (!error) { NSString *response = [request responseString];//如果请求成功,则返回的数据会存储在response指向的内存中 }

推荐阅读:

《mac X系统安装xcode提示安装失败》

《mac和linux:相同的祖先,不同的命运》

《控制台和MFC程序打印日志和分析URL路径示例》

《windows下的GNU编译环境Cygwin和MinGW》

《开源视觉库openCV》

转载请注明来自特酷吧,并注明本文链接,本文地址:www.tekuba.net/program/237/

扩展:asihttprequest配置 / asihttprequest / asihttprequest ipv6

四 : linux中TFTP配置

1.下载

sudo apt-get install tftpd-hpa tftp-hpa xinetd

2.修改

sudo gedit /etc/default/tftpd-hpa 

改为

TFTP_USERNAME="tftp"

TFTP_DIRECTORY="/home/jezze/tftpboot"
TFTP_ADDRESS="0.0.0.0:69"
TFTP_OPTIONS="-l -c -s"

配置相关服务文件。(www.61k.com)进入根目录下的etc文件夹(cd /etc/),首先看目录中有没有一个xinetd.conf文件,如果没有则新建一个,有的话查看内容,看是否与下面的一致,若不一致则修改,内容如下:

# Simple configuration file for xinetd
#
# Some defaults, and include /etc/xinetd.d/
defaults
{
# Please note that you need a log_type line to be able to use log_on_success
# and log_on_failure. The default is the following :
# log_type = SYSLOG daemon info
}
includedir /etc/xinetd.d 

然后进入xinetd.d文件夹(cd xinetd.d),查看是否有一个tftp文件,如果没有就新建一个,如果有的话就查看内容是否与下面的一致,不一致则修改,内容如下:

service tftp
{
socket_type = dgram
wait = yes
disable = no
user = root
protocol = udp
server = /usr/sbin/in.tftpd
server_args = -s /home/tftpboot
log_on_success += PID HOST DURATION
log_on_failure += HOST

其中server_args一行是配置服务器的文件存放的位置,就是进行tftp传输的时候,都是从该文件夹中搜索文件的

、重新启动服务。这也是我经常疏忽的一步,当配置好tftp的配置文件后,需要重新启动一下xinetd,在终端中输入 sudo /etc/init.d/xinetd reload,重新加载一下进程,再输入 sudo /etc/init.d/xinetd restart,重启服务。记住,每次修改完配置文件后,都需要重新启动一下服务。

4.tftp 你的IP

tftp>get XXX

tftp>put XXX

五 : PHP开发环境的配置(Linux平台上安装Apache和PHP)

PHP开发环境的配置(Linux平台上安装Apache和php):

下载Apache (httpd-2.4.12.tar.gz)、下载PHP(php-5.6.9.tar.gz)、下载与PHP安装相关的libxml2(libxml2-2.7.8.tar.gz)、下载与Apache安装相关的三个文件:apr(apr-1.5.2.tar.gz)、apr-util(apr-util-1.5.4.tar.gz)、pcre (pcre-8.10.zip)

(1)安装Apache:在安装apache之前必须先安装apr、apr-util和pcre,否则会出错:

安装apr:

Gunzip apr-1.5.2.tar.gz

Tar xvf apr-1.5.2.tar

进入apr-1.5.2目录,然后执行:

./configure --prefix=/usr/local/apr

Make && make install

安装apr-util:

解压后进入apr-util目录,然后执行:

./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr/bin/apr-1-config

Make && make install

安装pcre:在安装之前,必须先安装gcc,否则无法编译pcre文件

安装gcc:yum -y install gcc+ gcc-c++

然后安装pcre:

解压后进入pcre目录,然后执行:

./configure --prefix=/usr/local/pcre

Make && make install

安装好这几个文件后,可以安装apache了,解压httpd-2.4.12.tar.gz:

Gunzip httpd-2.4.12.tar.gz

Tar xvf httpd-2.4.12.tar

进入解压目录:cd httpd-2.4.12,然后执行:

./configure --prefix=/usr/local/apache --enable-so --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util \

--with-pcre=/usr/local/pcre

Make && make install

(2)安装PHP:

安装php之前先安装libxml2:

解压后进入目录:libxml2-2.7.8,然后执行:

./configure --prefix=/usr/local/libxml2

Make && make install

安装php:解压后进入目录php-5.6.9,然后执行:

./configure --prefix=/usr/local/php --with-libxml-dir=/usr/local/libxml2 --with-apxs2=/usr/local/apache/bin/apxs

Make && make install

安装好php之后,将解压后的php-5.6.9目录里的php.ini-development复制到下面目录:

cp php.ini-development /usr/local/php/lib/php.ini

(3)配置Apache的conf文件夹里面的httpd-conf,添加下面内容(如果不存在的话):

LoadModule处添加LoadModule php5_module module/libphp5.so

在AddTypeapplication处添加AddType application/x-httpd-php .php

(4)启动或者重启Apache:

/usr/local/apache/bin/apachectl restart (或者start)

(5)测试Apache和PHP安装是否正确:

进入Apache里面的htdocs目录下面,

[root@Masterpc htdocs]# vim hello.php

echo "Hello world!";

phpinfo();

?>

在浏览器输入:http://172.16.2.42/hello.php (本人linux主机的ip地址是 172.16.2.42,通过远程访问),访问成功则显示如下:

apachephp PHP开发环境的配置(Linux平台上安装Apache和PHP)

扩展:linux apache 配置 / linux apache2 配置 / linux apache 配置php

本文标题:linux环境配置-linux下hadoop配置过程
本文地址: http://www.61k.com/1066952.html

61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1