Postgresql配置及osm2pgsql原始数据导入
，Ubuntu 12.04LTS发布，又一个长效支持版，我们又该更新OpenStreetMap服务器了，这次，将详细在博客中记录配置过程。关于前面对OpenStreetMap的介绍，参考我的博文/goldenhawking/article/details/6402775
1、预防针
全球数据导入工作非常耗时，也很容易出错，吸取前面N次的教训，在开始之前，打好预防针，主要有：
a)稳定的64位环境
先前的博客中，的数据集合还能运行在32位虚拟机中，20GB的原始数据压缩文件展开后占用200GB以上的磁盘，光是ID一列字段就盛满4G的空间，显然32位是不行了。这次采用16GBwindows Server 、16核心盘阵服务器，2TB磁盘空间，VMBox虚拟机8GB内存以期资源充足。
b) UPS电力供应+工作状态保护
由于数据导入过程可能长达1-4周，为了吸取长时间断电即使UPS也挂了的惨痛教训，本次在Windows Server 64bit + Oracle VirtualBox 4.18 下进行导入工作，以便在断电时，利用UPS的有限时间进行snapshot，而后休眠，以保证导入工作不被干扰。如果不使用虚拟机，直接使用系统的休眠，osm2pgsql与postgis 的 TCP连接有可能被重置（当你使用外部地址而不是localhost时），照样会挂。
c)质量过关的磁盘
在中等内存容量下，采用slim模式导入，将面对持续数周的密集磁盘访问，采用盘阵速度较快，且容错保护好。以前出现过使用单块硬盘，读写了4周（3周导入，1周渲染），硬盘噪音超大，没用一年就挂了的惨痛经历。
2、最终目的
完整导入全球Planet.OSM数据集，并编译、配置最新的Mapnik渲染器；采用最新的apache2+ mod_tile rended 搭建WebService；采用OpenLayers 实现 SlippyMap;利用GeoServer + OpenLayers +PostGIS叠加显示动态矢量数据。对拉丁语系、斯拉夫语系的地名进行翻译，并附带实现C-S架构的客户端
好了，下面开始第一篇，也是万事开头难，痛苦的数据导入过程。
------------------------------------------------------
本次，既然有8GB内存，就不在乎图形界面耗费的一两百MB了，使用Linux-Mint 13 64bit 作为基础平台，操作性好，利于安装eclipse、QT, code-blocks 等IDE进行开发实践。
<0>专门找一台机器，全天下载全球数据文件
这一步在国内网速不好时，太要命了。用BT也不是太好，大家酌情考虑自己的方式。
访问http://download.geofabrik.de/osm/ 下载感兴趣区域的数据，全球的直接google Planet.osm ,到wiki的链接FTP去下载（暴慢），或者去http://osm-torrent.torres.voyager.hr/files/ 去下载PBF种子（我的网速下，好不了哪去），这一步会花费好多天。osm.bz2格式的要比PBF大好多，导入的时候慢好多，建议能用就用 pbf的。如果使用PBF, 后面编译 osm2pgsql时,需要libprotobuf-c0-dev 和protobuf-c-compiler两个库，否则会不认。
我这次是先下个中国的pbf，60MB，导入供功能测试，等到后面下完了，再导入全球的。
<1>安装PostgreSQL
[plain]view plaincopy
sudoapt-getupdatesudoapt-getdist-upgradesudoapt-getinstallpostgresqlsudoapt-getinstallpostgresql-9.1-postgispostgresql-contrib-9.1postgresql-server-dev-9.1sudoapt-getinstalllibpq-dev
当然，也可以直接在X下新立得软件管理器中安装，顺便把pgAdminIII 给安上
下面进行配置。
<2>更改Linux用户和PostgreSQL的用户密码，创建用于数据访问的用户
为了用自己的postgres账户在 pgAdminIII中登录，以及远程访问数据库，我们要修改postgres的管理员密码
[plain]view plaincopy
sudopasswdpostgres
输入两遍自己的密码, 就更改了Linux下用户postgres的口令。而后，在数据库中修改 postgres 的密码，一般与上面操作系统中postgres用户的密码取一致。
[plain]view plaincopy
sudosupostgrespsql-dpostgresALTERUSERpostgresWITHPASSWORD'你的密码huawei.123';
为了安全，创建一个用户，用于数据访问。为了和后面渲染契合，用户名 www-data，分别在console以及psql下执行：
[plain]view plaincopy
sudopasswdwww-data在psql或者pgAminIII中CREATEROLE"www-data"LOGINPASSWORD'你想设置给www-data的密码'SUPERUSERINHERITCREATEDBNOCREATEROLEREPLICATION;
<3>adminPack安装
如果安装了pgAdminIII，则会提示您没有安装服务器端adminpack，postgresql 9.1下，这个东西不再是 contrb，而是“扩展”extension，直接点击“修复repair”或执行
(未成功,用create extension postgis代替)
[plain]view plaincopy
createextensionadminpack;
以安装服务器管理员拓展包，否则，很多pgAdmin的功能用不了。
<4>建立PostGIS数据库
首先，我们要在2TB的分区文件夹下建立表空间。本例中， 2TB分区位于 /hugecargo
[plain]view plaincopy
cd/hugecargosudomkdirpgtbs_osmgissudochownpostgres./pgtbs_osmgis
而后，在psql或者pgAdmin下创建表空间
[plain]view plaincopy
CREATETABLESPACEpgtbs_osmgisOWNER"www-data"LOCATION'/hugecargo/pgtbs_osmgis';
接着，创建数据库。由于中文Mint 下，postgresql默认采用 zh_cn.UTF-8 locale, 这种字符排序对后面的导入工作会造成一定的麻烦，保险起见，采用Locale "C"
[plain]view plaincopy
CREATEDATABASEosmgisWITHOWNER="www-data"ENCODING='UTF8'TABLESPACE=pgtbs_osmgisLC_COLLATE='C'LC_CTYPE='C'CONNECTIONLIMIT=-1;GRANTALLONDATABASEosmgisTOpublic;GRANTALLONDATABASEosmgisTO"www-data";
添加 postgis 功能，以及hstore(类似C++的map)。
[plain]view plaincopy
sudosupostgres-c"psql-dosmgis</usr/share/postgresql/9.1/contrib/postgis-1.5/postgis.sql"sudosupostgres-c"psql-dosmgis</usr/share/postgresql/9.1/contrib/postgis-1.5/spatial_ref_sys.sql"sudosupostgres-c"psql-dosmgis</usr/share/postgresql/9.1/contrib/postgis_comments.sql"sudosupostgrespsql-dosmgiscreateextensionhstore
（未实现）
这样，postgis数据库就建立好了。
<5>对postgresql性能进行优化
首先，编辑 /etc/postgresql/9.1/main/postgresql.conf
sudo nano /etc/postgresql/9.1/main/postgresql.conf
修改缓存，关闭自动资源释放，否则，等着导入的时候硬盘over吧！
[plain]view plaincopy
shared_buffers=256MBcheckpoint_segments=20maintenance_work_mem=256MBautovacuum=off
小内存机器，不要设置太大。
[plain]view plaincopy
shared_buffers=128MB
注意，把前面的"#"去掉，否则那一行只是注释而已，我这个粗心鬼不止一次忘了。
而后，要同步修改系统的最大共享内存数
[plain]view plaincopy
sudonano/etc/sysctl.conf
在尾部补上
[plain]view plaincopy
#128MBshared_buffer对应256MBshmmaxkernel.shmmax=268435456#256MBshared_buffer对应512MBshmmaxkernel.shmmax=536870912
最后，重启机器，确定postgresql服务运行正常，就ok了。
至此，postgresql设置完毕。
-----------------------------------------
<6>编译支持pbd文件格式的osm2pgsql
为了导入数据，需要osm2pgsql这个工具。安装一些依赖
（未完全实现）
[plain]view plaincopy
sudoapt-getinstallsubversiongit-coretarunzipwgetbzip2sudoapt-getinstallbuild-essentialautoconflibtoollibxml2-devlibgeos-devlibbz2-devsudoapt-getinstallprojlibprotobuf-c0-devprotobuf-c-compilersudoapt-getinstalllibfreetype6-devlibpng12-devlibtiff4-devlibicu-devlibboost-all-devsudoapt-getinstalllibgdal-devlibcairo-devlibcairomm-1.0-devapache2apache2-devlibagg-dev
我在自己的文档文件夹下建立bin, src 两个文件夹，bin用于存放直接运行的程序，src用于存放编译后 make install 到系统路径中的程序。
[plain]view plaincopy
mkdir~/srcmkdir~/bincd~/binsvnco/applications/utils/export/osm2pgsql/
而后，进入目录，编译，如果需要多线程支持，安装pThread
sudo apt-get install libpthread-stubs0-dev libevent-pthreads-2.0-5 libzthread-dev
[plain]view plaincopy
cdosm2pgsql./autogen.sh./configuremakesudomakeinstall
就ok了
请注意一下configure的时候，有没有提示protobuf 是yes，是的话，才能认 pbf文件，从而节约大量的下载时间（pbf比 osm.bz2小了7-8个GB)
<7>开始导入测试用中国数据（全球数据最后一步导入，那是去和老板请假休息的时候）
准备好后，直接运行
[plain]view plaincopy
./osm2pgsql-dosmgis-s-S"./default.style"-C384-Uwww-data-W-Hlocalhost-v~/downloaded/china.osm.pbf
（eg: /usr/bin/osm2pgsql -dosmgis -s -S"/usr/share/osm2pgsql/default.sty
le" -C384 -Uwww-data -W –H192.168.105.180 -v /bantian.osm)
即可导入。china.osm.pbf 的数据导入很快。
-----------------------------------
本文就到这里，现在，我们有了基础的数据。下一篇，我们开始配置 mapnik2 渲染器，以及 apache-mod_tile + renderd 组成的WMS服务器。
转载：/goldenhawking/article/details/7952303
