一 : 大规模机器学习：将数据科学引入生产系统架构的典型模式

在过去的几年间，数据科学这个概念已经被非常多的行业所接受。数据科学(源自于一个科学研究课题)最早是来自于一些试图去理解人类的智能并创造人工智能的科学家，但现在它已经被证明是完全可以带来真正的商业价值。

例如，我所在的公司：Zalando(欧洲最大的时尚品零售店)。在这里，数据科学和其他工具一起被用来提供数据驱动的推荐。推荐本身作为后端服务，被提供给很多地方，包括产品页面、分类目录页面、通讯电邮以及重新定位目标客户等。

图1：图片来自Mikio Braun的演讲页

数据驱动产生推荐

实际上，有非常多的方法可以由数据驱动产生推荐。例如，在所谓的“协同过滤”里，所有用户的行为(比如浏览商品、对想买商品列表的操作、以及购买行为)都可以被收集起来作为推荐的基础，然后分析发现哪些商品有相似的用户行为模式。这种方法的优美之处在于计算机根本不用知道这些商品是什么。而它的缺点则是商品必须要有足够多的用户行为信息数据才能保证这个方法起作用。

另外一类产生推荐的方法是只看商品的属性。例如，推荐具有相同品牌的或者相同颜色的商品。当然，对这些方法还有非常多的扩展或者组合。

图2：图片由Antonio Freno友情提供并授权使用。引用自发表在KDD 2015会议的《One-Pass Ranking Models for Low-Latency Product Recommendations》论文

更简单一些的方法就是只通过计数来做推荐。但这种方法在实践里会有非常多的复杂的变形。例如，对个性化推荐，我们曾使用过“学习排序”的方法，即对商品集做个性化的排序。上图里所显示的就是这个方法需要最小化的损失函数。

不过，这里画出这个图的主要目的，还是来展示数据科学可能会引入的复杂度。这个函数自身使用了成对的加权指标，并带有正则化条件。这个函数的数学展现是很简化的，当然也就很抽象。这个方法不仅对于电商的推荐场景有用，还对当物品有足够特征的时候的所有类型的排序问题也有用。

将数据科学方法引入工业界

为了把类似上图的非常复杂的数学算法引入到生产系统中，我们需要做什么?数据科学和软件工程之间的界面应该是什么样?什么样的组织架构和队伍结构才最适合使用这些数据科学的方法?这些都是非常相关和合理的问题。因为这些问题的答案将会决定对于一个数据科学家或者是整个数据科学团队的投资是否能最终得到回报。

在下文里，我会根据我作为一个机器学习的研究人员以及在Zalando带领一个数据科学家和工程师团队的经验，来对这些问题做一些探讨。

理解数据科学(系统)与生产系统的关系

让我首先从了解数据科学系统与后端生产系统的关系开始，看看如果将两者进行集成。

图3：图片来自Mikio Braun的演讲页

典型的数据科学工作流程(管道)如上图里所示：第一步总是从发现问题和收集一些数据(来自于数据库或者生产系统的日志)开始。取决于机构的数据准备好的程度，这一步有可能就是很困难的。首先，你有可能需要搞清楚谁能让你接触到所需的数据，并搞清楚谁能给你权限去使用这个数据。当数据可用后，它们就可能需要被再次处理，以便提取特征值。你希望这些特征可以为解决问题提供有用的信息。接着，这些特征值被导入学习的算法，并用测试数据对产生的结果模型做评估，以决定这个模型是否能较好地对新数据做预测。

上述的这个分析管道通常都是短期一次性的工作。一般是由数据科学家手工完成所有的步骤。数据科学家可能会用到如Python这样的编程语言，并包括很多的数据分析和可视化的库。取决于数据数量，有时候数据科学家也使用类似Spark和Hadoop这样的计算框架。但一般他们在一开始都只会使用整个数据集的一小部分来做分析。

为什么开始只用一小部分数据

开始只用一小部分数据的主要原因是：整个分析管道过程并不是一锤子买卖，而是非常多次反复迭代的过程。数据科学项目从本质上讲是探索性的，甚至在某种程度上是开放式的命题。虽然项目目标很清楚，但什么数据可用，或可用的数据是否适合分析，这些在项目一开始都不是很清楚。毕竟，选择机器学习作为方法就已经意味着不能仅仅只是通过写代码来解决问题。而是要诉诸于数据驱动的方法。

这些特点都意味着上述的分析管道是迭代的，并需要有多次改进，尝试不同的特征、不同的预处理模式、不同的学习方法，甚至是重回起点并寻找和实验更多的数据来源。

这整个过程本质上就是反复的，而且经常是高度探索性的。当做出的模型的整体的表现不错后，数据科学家就会对真实的数据运用开发的分析管道。到这时，我们就会面临与生成系统的集成问题。

图4：图片来自Mikio Braun的演讲页

区分生产系统和数据科学系统

生产系统和一个数据科学系统的最主要区别就是生产系统是一个实时地、在持续运行的系统。数据一定要被处理而模型必须是经常更新的。产生的事件也通常会被用来计算关键业务性能指标，比如点击率等。而模型则通常会每隔几个小时就被用新数据再进行训练，然后再导入生产系统中去服务于新来的(例如通过REST接口送入的)数据。

这些生产系统一般都是用如Java这样的编程语言写的，可以支持高性能和高可靠性。

图5：图片来自Mikio Braun的演讲页

如果你把生产系统和数据科学系统并排放置，那么就会得到一个类似上图的情况。在右上角，是数据科学的部分。其典型特征是使用类似Python的语音或者是Spark的系统，但一般是一次性的手工触发的计算任务，并经过迭代来优化整个系统。它的产出就是一个模型，本质上就是一堆学习到的数字。这个模型随后被导入进生成系统。而生产系统则是一个典型的企业应用系统，用诸如Java语言写成的，并持续运行。

当然，上面的这个图有一些简化了。现实中，模型都是需要被重新训练的，所以一些版本的数据处理管道会和生成系统集成在一起，以便不时地更新生产系统里的模型。

请注意那个在生成系统里运行的A/B测试。它对应于数据科学一侧的评估部分。但这两部分经常并不完全具有可比性。例如不把离线的推荐结果展示给客户，就很难去模拟一个推荐的效果，但有这样做可能会带来性能的提升。

最后，必须要意识到，这个系统并不是在安装部署完成后就“万事大吉了”。就如数据科学侧的人需要迭代多次来优化数据分析管道，整个实时系统也必须随着数据分布漂移来做迭代演进。由此新的数据分析任务就成为可能。对我而言，能正确做好这个“外部迭代”是对生产系统的最大的挑战，同时也是最重要的一步。因为这将决定你能否持续地改善生产系统，并确保你在数据科学上的初期投资取得回报。

数据科学家和程序员：合作的模式

到目前为止，我们主要关注的是生产环境里的系统是什么样。当然对于如何保证生产系统稳定和高效则有很多种方法。有时候，直接部署Python写的模型就足够了，但生产系统和探索分析部分的分离是肯定存在的。

你将会面对的艰巨挑战之一，就是如何协调数据科学家与程序员的合作。“数据科学家”依然是一个新的角色，但他们所做的工作与典型的程序员有着明显差异。由此导致的误解和沟通障碍就不可避免了。

数据科学家的工作通常是探索性的。数据科学项目一般始于一个模糊的目标、哪些数据可用的一些想法、以及可能的算法。但非常常见的情况是，数据科学家必须尝试多种想法，并从数据里获取洞察。数据科学家会写很多的代码，但是大部分都是用于测试想法，并不会被用于最终的解决方案。

图6：图片来自Mikio Braun的演讲页

与数据科学家相反，程序员通常非常关注于编程。他们的目标是开发一个系统，实现所要求的功能。程序员有时会做一些探索性的工作，比如构建原型、验证概念或是测试性能基准。但他们的工作的主要目标还是写代码。

他们间的不同还明显地体现在代码的变化上。程序员通常会坚持一个非常明确定义的代码开发流程。一般包括创建自己工作流的分支，在开发完成后做评测检查，然后把自己的分支合并进主分支。大家可以并行开发，但必须在协商后才能把他们的分支合并进主分支。然后这个过程再重复进行。这整个过程都是确保主分支会以一个有序的方式演进。

图7：图片来自Mikio Braun的演讲页

数据科学家也会写很多的代码。但正如我之前所说的，这些代码通常是为了验证想法。所以数据科学家可能是会写出一个版本1，但它并没有实现需求。然后又针对一个新的想法写了版本2，随后是2.1和2.2，直到发现还是不能实现需求而停止。再对更新的想法去写版本3和3.1。也许在这个时候，数据科学家意识到，如果采用2.1版里的某些方法并结合3.1版里的某些方法，就能获得一个更好的解决方案。这就带来了版本3.3和3.4，并可能由此形成了最终解决方案。

图8：图片来自Mikio Braun的演讲页

一个有意思的事情是，数据科学家实际上可能希望保留所有这些没成功的版本。因为之后的某个时间，也许它们又会被拿来测试新的想法。也许有些部分可以被放入一个“工具箱”里，逐步形成数据科学家自己的私人机器学习库。程序员更希望去删除“无用的代码”(因为他们知道如何快速地找回这些代码)，而数据科学家则喜欢保留代码以防万一。

上述的两大不同意味着，在现实中，直接让程序员和数据科学家共同工作可能会出问题。标准的软件工程流程对数据科学家的探索性工作模式并不合适，因为他们的目标是不同的。引入代码评测检查和有序的分支管理、评测、合并分支的工作流对数据科学家而言并不合适，还会减慢他们的工作。同样的，把探索性的模式引入生产系统开发也不会成功。

为此，如何才能构建一个合作模式来保证两边都能高产出的工作?可能第一直觉就是让他们相互分离地工作。例如，完全分开代码库，并让数据科学家独立工作，产出需求文档，再由程序员团队实现。这种方法也行得通，但流程通常会非常得慢，且容易出错。因为重新开发实现一遍就可能会引入错误，尤其是在程序员并不熟悉数据分析算法的情况下。同时能否进行外部迭代来改进系统的表现也依赖于程序员是否有足够的能力来实现数据科学家的需求。

图9：图片来自Mikio Braun的演讲页

幸运的是，很多数据科学家实际上是希望能成为好的程序员，或是反过来。所以我们已经开始试验一些更直接和更能帮助加快流程的合作模式。

例如，数据科学家和程序员的代码库依然是分离的，但部分生产系统会提供清晰定义的接口来方便数据科学家把他们的方法嵌入进系统。与这些生产系统的接口进行沟通的代码必须严格地依据软件开发实践流程，但这是数据科学家的工作。用这种方式，数据科学团队可以在自己的代码快速地迭代，同时也就是完成了对生产系统的迭代。

图10：图片来自Mikio Braun的演讲页

这种架构模式的一个具体实现是采用“微服务”方法。即让生产系统去调用数据科学家团队开发的微服务来获取推荐。用这个方式，整个数据科学家使用的离线分析管道还可以被调整用来做A/B测试，甚至是加入生产系统而不用程序员团队重新开发实现。这种模式会要求数据科学家具有更多的软件工程技能，但我们看到越来越多的数据科学家已经具有这样的技能集。事实上，后来我们修改了Zalando的数据科学家的职衔为“研究工程师(数据科学)”来反应这种实际情况。

采用类似这样的方法，数据科学家可以快速实践，对离线数据做迭代研究，并在生产系统环境里迭代开发。整个团队可以持续地把稳定的数据分析方法迁移进生产系统。

持续适应并改进

至此，我概述了一个能把数据科学引入生产系统的架构的典型模式。需要理解的一个关键概念就是这样的系统需要持续地适应并改进(这和几乎所有的针对实际数据的数据驱动项目类似)。能够快速迭代，实验新的方法，使用A/B测试验证结果，这一切都非常重要。

依据我的经验，保持数据科学家团队和程序员团队的分离是不可能达成这些目标的。与此同时，很重要的是，我们也要承认两个团队的工作方式确实是不同的，因为他们的目标不一样(数据科学家的工作更加具有探索性，而程序员更关注于开发软件和系统)。

通过允许各自团队能工作在更适合他们的目标的方式，并定义一些清晰的接口，是有可能集成两个团队，并保证新的方法可以被快速地试错的。这会要求数据科学家团队具有更多的软件工程技能，或是至少能有软件工程师来桥接起两个世界。

作者介绍

Mikio Braun是Zalando的推荐和搜索系统的交付带头人。Zalando是欧洲最大的时尚品平台之一。Mikio拥有机器学习的博士学位，并在投身把研究成果转化成行业应用前进行了多年的研究工作。

 

二 : 船讯网：船讯网-系统架构，船讯网-数据来源

“船讯网”是一个实时查询船舶动态的公众服务网站。能够为船东、货主、船舶代理、货运代理、船员及其家属，提供船舶实时动态，能给船舶安全航行管理、港口调度计划、物流、船代、货代带来极大的方便。船讯网上可以对船舶进行实时的定位，依照船舶航行速度的不同，船位更新的频率由几秒至几分钟不等，超出AIS基站复盖范围的船舶，会保留船舶最后收到信号时的位置。船讯网是采用的分布式计算和 群集技术，主要的系统架构分为船舶数据服务器，海图服务器，船舶数据处理服务器，客户服务器。

船讯网_船讯网 -系统架构

船讯网是采用的分布式计算和 群集技术，主要的系统架构分为船舶数据服务器，海图服务器，船舶数据处理服务器，客户服务器。

船舶数据服务器，用来存储从来自全球各地AIS接收到的船舶实时 动态数据。服务器自动将二进制的AIS数据流，通过标准的AIS协议，转换成可读的数据存储在服务器中。当某个用户在前台页面请求时，船舶数据服务器自动响应，将船舶位置更新至最新。

海图服务器，用来存储和处理海量海图数据。该服务器采用标准的GIS架构，将全球海图分为18级，并将瓦片化的海图数据按照一定的规则分别存储。当有用户请求时，服务器自动将请求的海图瓦片传输至用户电脑，下载到用户 本地缓存，以便下次访问更加快捷。

船舶数据处理服务器，用来处理每天收到的海量船舶 动态数据。

客户服务器，用来存储客户的资料、定制、权限、到港提醒、短信收发、卫星D+通信等内容。

船讯网_船讯网 -数据来源

AIS

利用AIS具有接收和发送AIS报文的功能，船讯网在每个港口部署AIS设备接收机，自动接收船舶发送的AIS报文，然后再通过技术手段对AIS报文进行解析。AIS数据有着速度快、更新及时的特点，特别适合港口及码头的船舶监控。

卫星AIS

利用在低轨道卫星上搭载高灵敏度的AIS接收机，当卫星经过船舶上空时，就会收到船舶的AIS信号，并通过卫地面站将接收到的AIS数据分发到各个AIS数据中心。船讯网通过网络的方式，从数据中心获取数据，最终以船位的方式，图形化的显示在海图上。

Inmarsat-C

海事通信卫星

由于AIS本身通信性能具有局限性，它只能够接收距离集中在30-50海里的船舶信号。一旦船舶远离港口，通过AIS基站就很难获得船位信息。在这种条件下，只能通过卫星来获得。船讯网可以通过C站对船舶进行polling，当船舶收到polling指令时，会自动返回当前的经纬度、航向、航速、时间等信息。

Inmarsat-D+

D+是Inmarsat D站的增强型，具有位置报告和短信功能。如若想通过D+获得船位，首先需要在船舶上安装1个卫星通信设备，该设备可以每隔1个小时自动的向岸上的地面控制中心发送1个位置报。通过这种途径，船讯网可以收集到指定船舶的卫星船位。

船讯网_船讯网 -产品服务

船舶动态

船舶动态

船讯网上可以对船舶进行实时的定位，依照船舶航行速度的不同，船位更新的频率由几秒至几分钟不等，超出AIS基站复盖范围的船舶，会保留船舶最后收到信号时的位置。通过AIS信号，船舶不断向外发出的信息有2种，一是如船名、呼号、美眉SI、IMO、船舶类型、船长、船宽等静态信息，二是如航行状态、吃水、经纬度、航向、航速、目的地、ETA等。

快船

快船是船讯网自主开发的以航运船货配载租船交易为核心，以船东、货主为服务对象，衍生开放包含货代、船代、港口、金融、保险、商检机构、船供公司等众多第三方物流服务商为重要组成部分的，闭环服务体系。是为用户提供OTS（OptionalSolutions）自选服务式--整体解决方案的第四方航运交易集成平台。

快船改变了传统海运租船揽货方式，建立培养出大移动互联网时代下引领用户进入现代化租船业务新方式。快船的诞生更是颠复了传统海运租船市场只能靠打电话、找代理的格局，，利用移动互联网特点，将线上与线下相融合，从找船初始阶段的信息精准推送到用户信誉验证到合同在线签约到物流执行监管及使用线上支付，画出了1个货主与船东紧密相连的o2o完美闭环，最大限度优化用户体验。

快船通过5大服务系统有效的节约货主物流成本，降低船舶等待及空驶率。

（1）航运搜索引擎服务

可自助查询船位、港口计划、运力、运价、船盘、货盘及相关航运服务商名录，扩大用户对市场行情预测，可自主控制物流成本30%

（2）在线智能精准船货配载、洽谈及签约服务

在船讯网海量船货信息的基础上，瞬间实现智能精准的船货信息匹配，可快速完成智能货物分仓、拼仓配载，全程记录在线洽谈过程。实现船东、货主真实在线洽谈签约挤船舶执行跟踪服务。降低物流成本，提升双方交易效率50%

（3）二十四小时呼叫中心客户服务

可减轻船货双方操作不畅和时间操作不便问题，有效提升整体服务100%

（4）建立行业及诚信基础的海运生态圈系统

实现基于在线真实交易的船货双方及第三方物流服务商的诚信点评，让平台参与方建立自己的诚信档案，有效避免非诚信船货操作，对第三方物流服务商提供能有效降低80%物流风险

（5）第三方物流服务商精准推荐

以真实交易为推荐条件，精准为船货双方选择船货代、金融保险、商检机构、船供公司等延续完成船货双方线下执行操作的监管保障协调工作，减轻大量物流操作负担。

船舶档案

船讯网不仅提供船舶动态信息，同时还提供来自原英国劳氏船级社（现IHS- FairPlay）的船舶数据库。英国劳氏是国际海事组织（IMO）指定的IMO编号颁发、管理和验证部门，其数据的权威性和完备性无人可及。

船讯网是LRF在大中华地区独家授权分销商，船舶档案服务完整收录全球300总吨以上国际航行船舶12万多艘，船东及管理公司7万多家，造船厂6千多家，数据每周更新。 数据内容包括详细的船舶和设备技术参数、建造情况、保赔协会、入级及PSC检验记录、所有人、经营人、买卖情况等权威档案资料200多项。

卫星AIS

船讯网

AIS是1种船载通信设备，可以不间断地发送本船的相关信息，通过AIS接

收机就可以接收到该数据。 通常AIS接收基站都是部署在陆地上的，这样只能接收到基站附近约60公里范围内的船舶数据，而卫星AIS则是把AIS接收机安装到卫星上， 这样就可以不受地域范围限制地接收到全球船舶的AIS信息。尤其是对于大洋上的船舶监控来说，提供了1种革命性的技术手段。

当前卫星AIS服务已经具备商用价值，而在未来2年内，将有超过20颗新的卫星被陆续发射，届时船舶监控的范围和实时性将有更大的提升， 这将彻底改写船位信息服务的历史！。

电子海图

船讯网他们采用了Jeppesen

生产的标准C-map电子海图。在这个电子海图上可以直观的看到全球所有港口、水域的状况，为船舶的安全航行、安全管理，提供尽可能多的信息参考。同时在电子海图上，还可以清楚的看到国家、港口、泊位、航道、浮标、锚地、水深、碍航物等信息。

手机版本

手机平台

船讯网在2012年2-3月份相继推出多种手机版本

，如iPhone、ipad、Android、Java 手机版本，将船舶监控由电脑成功转移至移动互联网。所有的使用者，只需要下载1个几百K的应用，即可在自己的手机上，任意时刻，任意地点来查询自己的船舶，方便快捷！

船位API

船讯网在自身提供船位服务的同时，还对外开发数据平台（API）

，更友好的支持其他网站和系统的嵌入，以方便使用者在自己的网站和系统中实现船舶监控管理。

根据使用者的目的和实现的难易程度不同，船讯网提供3种数据开发接入方式：

（1）完整的地图/海图+船位数据的接入

（2）船舶的原始数据对接

（3）使用超链接对接

船讯网_船讯网 -主要功能

（1） 查询船舶位置，通过船名、IMO、美眉SI、呼号等信息，查询船舶的位置；

（2） 历史轨迹，用户可以查询1-两个月的船舶航行轨迹；

（3） 船队管理，用户可以通过定制和D+船队等，简单方便的管理船队；

（4） 到港提醒，根据用户的设置，向用户的手机发送船舶到离港提醒；

（5） 海洋气象，将天气变化、温度、气压、风向、风速、海浪、能见度等海洋气象信息叠加到海图上；

（6） 添加标注，自定义在海图上叠加各种个性化的标注；

（7） 船舶资料，提供来自劳氏超过12万条船舶的详细资料；

（8） 船舶筛选，通过目的地、到港时间、船型、吨位、国家、港口等信息，筛选出符合条件的船舶；

（9） 港口船舶，统计出港口内所有船舶名称及数量，按照权限查看船舶资料；

（10） 海运圈；网络全国内贸海运用户，建立内贸海运社区平台。

船讯网_船讯网 -结束语

船讯网是国内最早提供船舶位置监控的网站。在运营的初期，一直保持在高收费、高门槛的状态，但是在2012年8月以后就开始全面的免费，这无疑对所有的航运相关的人员来说是1个好的事情。此举让海运贸易变得更加透明，任何人在任何地方都能查到关心的船舶位置，使船位再也不是船东专属的特权。

三 : 船讯网：船讯网-系统架构，船讯网-数据来源

“船讯网”是一个实时查询船舶动态的公众服务网站。能够为船东、货主、船舶代理、货运代理、船员及其家属，提供船舶实时动态，能给船舶安全航行管理、港口调度计划、物流、船代、货代带来极大的方便。船讯网上可以对船舶进行实时的定位，依照船舶航行速度的不同，船位更新的频率由几秒至几分钟不等，超出AIS基站复盖范围的船舶，会保留船舶最后收到信号时的位置。船讯网是采用的分布式计算和 群集技术，主要的系统架构分为船舶数据服务器，海图服务器，船舶数据处理服务器，客户服务器。

船位船讯网_船讯网 -系统架构

[www.61k.com）船讯网是采用的分布式计算和 群集技术，主要的系统架构分为船舶数据服务器，海图服务器，船舶数据处理服务器，客户服务器。

船舶数据服务器，用来存储从来自全球各地AIS接收到的船舶实时 动态数据。服务器自动将二进制的AIS数据流，通过标准的AIS协议，转换成可读的数据存储在服务器中。当某个用户在前台页面请求时，船舶数据服务器自动响应，将船舶位置更新至最新。

海图服务器，用来存储和处理海量海图数据。该服务器采用标准的GIS架构，将全球海图分为18级，并将瓦片化的海图数据按照一定的规则分别存储。当有用户请求时，服务器自动将请求的海图瓦片传输至用户电脑，下载到用户 本地缓存，以便下次访问更加快捷。

船舶数据处理服务器，用来处理每天收到的海量船舶 动态数据。

客户服务器，用来存储客户的资料、定制、权限、到港提醒、短信收发、卫星D+通信等内容。

船位船讯网_船讯网 -数据来源

AIS

利用AIS具有接收和发送AIS报文的功能，船讯网在每个港口部署AIS设备接收机，自动接收船舶发送的AIS报文，然后再通过技术手段对AIS报文进行解析。AIS数据有着速度快、更新及时的特点，特别适合港口及码头的船舶监控。

卫星AIS

利用在低轨道卫星上搭载高灵敏度的AIS接收机，当卫星经过船舶上空时，就会收到船舶的AIS信号，并通过卫地面站将接收到的AIS数据分发到各个AIS数据中心。船讯网通过网络的方式，从数据中心获取数据，最终以船位的方式，图形化的显示在海图上。

Inmarsat-C

海事通信卫星

由于AIS本身通信性能具有局限性，它只能够接收距离集中在30-50海里的船舶信号。一旦船舶远离港口，通过AIS基站就很难获得船位信息。在这种条件下，只能通过卫星来获得。船讯网可以通过C站对船舶进行polling，当船舶收到polling指令时，会自动返回当前的经纬度、航向、航速、时间等信息。

Inmarsat-D+

D+是Inmarsat D站的增强型，具有位置报告和短信功能。如若想通过D+获得船位，首先需要在船舶上安装1个卫星通信设备，该设备可以每隔1个小时自动的向岸上的地面控制中心发送1个位置报。通过这种途径，船讯网可以收集到指定船舶的卫星船位。

船位船讯网_船讯网 -产品服务

船舶动态

船舶动态

船讯网上可以对船舶进行实时的定位，依照船舶航行速度的不同，船位更新的频率由几秒至几分钟不等，超出AIS基站复盖范围的船舶，会保留船舶最后收到信号时的位置。通过AIS信号，船舶不断向外发出的信息有2种，一是如船名、呼号、美眉SI、IMO、船舶类型、船长、船宽等静态信息，二是如航行状态、吃水、经纬度、航向、航速、目的地、ETA等。

快船

快船是船讯网自主开发的以航运船货配载租船交易为核心，以船东、货主为服务对象，衍生开放包含货代、船代、港口、金融、保险、商检机构、船供公司等众多第三方物流服务商为重要组成部分的，闭环服务体系。是为用户提供OTS（OptionalSolutions）自选服务式--整体解决方案的第四方航运交易集成平台。

快船改变了传统海运租船揽货方式，建立培养出大移动互联网时代下引领用户进入现代化租船业务新方式。快船的诞生更是颠复了传统海运租船市场只能靠打电话、找代理的格局，，利用移动互联网特点，将线上与线下相融合，从找船初始阶段的信息精准推送到用户信誉验证到合同在线签约到物流执行监管及使用线上支付，画出了1个货主与船东紧密相连的o2o完美闭环，最大限度优化用户体验。

快船通过5大服务系统有效的节约货主物流成本，降低船舶等待及空驶率。

（1）航运搜索引擎服务

可自助查询船位、港口计划、运力、运价、船盘、货盘及相关航运服务商名录，扩大用户对市场行情预测，可自主控制物流成本30%

（2）在线智能精准船货配载、洽谈及签约服务

在船讯网海量船货信息的基础上，瞬间实现智能精准的船货信息匹配，可快速完成智能货物分仓、拼仓配载，全程记录在线洽谈过程。实现船东、货主真实在线洽谈签约挤船舶执行跟踪服务。降低物流成本，提升双方交易效率50%

（3）二十四小时呼叫中心客户服务

可减轻船货双方操作不畅和时间操作不便问题，有效提升整体服务100%

（4）建立行业及诚信基础的海运生态圈系统

实现基于在线真实交易的船货双方及第三方物流服务商的诚信点评，让平台参与方建立自己的诚信档案，有效避免非诚信船货操作，对第三方物流服务商提供能有效降低80%物流风险

（5）第三方物流服务商精准推荐

以真实交易为推荐条件，精准为船货双方选择船货代、金融保险、商检机构、船供公司等延续完成船货双方线下执行操作的监管保障协调工作，减轻大量物流操作负担。

船舶档案

船讯网不仅提供船舶动态信息，同时还提供来自原英国劳氏船级社（现IHS- FairPlay）的船舶数据库。英国劳氏是国际海事组织（IMO）指定的IMO编号颁发、管理和验证部门，其数据的权威性和完备性无人可及。

船讯网是LRF在大中华地区独家授权分销商，船舶档案服务完整收录全球300总吨以上国际航行船舶12万多艘，船东及管理公司7万多家，造船厂6千多家，数据每周更新。 数据内容包括详细的船舶和设备技术参数、建造情况、保赔协会、入级及PSC检验记录、所有人、经营人、买卖情况等权威档案资料200多项。

卫星AIS

船讯网

AIS是1种船载通信设备，可以不间断地发送本船的相关信息，通过AIS接

收机就可以接收到该数据。 通常AIS接收基站都是部署在陆地上的，这样只能接收到基站附近约60公里范围内的船舶数据，而卫星AIS则是把AIS接收机安装到卫星上， 这样就可以不受地域范围限制地接收到全球船舶的AIS信息。尤其是对于大洋上的船舶监控来说，提供了1种革命性的技术手段。

当前卫星AIS服务已经具备商用价值，而在未来2年内，将有超过20颗新的卫星被陆续发射，届时船舶监控的范围和实时性将有更大的提升， 这将彻底改写船位信息服务的历史！。

电子海图

船讯网他们采用了Jeppesen

生产的标准C-map电子海图。在这个电子海图上可以直观的看到全球所有港口、水域的状况，为船舶的安全航行、安全管理，提供尽可能多的信息参考。同时在电子海图上，还可以清楚的看到国家、港口、泊位、航道、浮标、锚地、水深、碍航物等信息。

手机版本

手机平台

船讯网在2012年2-3月份相继推出多种手机版本

，如iPhone、ipad、Android、Java 手机版本，将船舶监控由电脑成功转移至移动互联网。所有的使用者，只需要下载1个几百K的应用，即可在自己的手机上，任意时刻，任意地点来查询自己的船舶，方便快捷！

船位API

船讯网在自身提供船位服务的同时，还对外开发数据平台（API）

，更友好的支持其他网站和系统的嵌入，以方便使用者在自己的网站和系统中实现船舶监控管理。

根据使用者的目的和实现的难易程度不同，船讯网提供3种数据开发接入方式：

（1）完整的地图/海图+船位数据的接入

（2）船舶的原始数据对接

（3）使用超链接对接

船位船讯网_船讯网 -主要功能

（1） 查询船舶位置，通过船名、IMO、美眉SI、呼号等信息，查询船舶的位置；

（2） 历史轨迹，用户可以查询1-两个月的船舶航行轨迹；

（3） 船队管理，用户可以通过定制和D+船队等，简单方便的管理船队；

（4） 到港提醒，根据用户的设置，向用户的手机发送船舶到离港提醒；

（5） 海洋气象，将天气变化、温度、气压、风向、风速、海浪、能见度等海洋气象信息叠加到海图上；

（6） 添加标注，自定义在海图上叠加各种个性化的标注；

（7） 船舶资料，提供来自劳氏超过12万条船舶的详细资料；

（8） 船舶筛选，通过目的地、到港时间、船型、吨位、国家、港口等信息，筛选出符合条件的船舶；

（9） 港口船舶，统计出港口内所有船舶名称及数量，按照权限查看船舶资料；

（10） 海运圈；网络全国内贸海运用户，建立内贸海运社区平台。

船位船讯网_船讯网 -结束语

船讯网是国内最早提供船舶位置监控的网站。在运营的初期，一直保持在高收费、高门槛的状态，但是在2012年8月以后就开始全面的免费，这无疑对所有的航运相关的人员来说是1个好的事情。此举让海运贸易变得更加透明，任何人在任何地方都能查到关心的船舶位置，使船位再也不是船东专属的特权。

四 : 数字标牌系统构建，常见误区分析知道

数字标牌显示终端（显示器），选择消费级产品也OK？

作为重点的显示硬件设备，数字标牌显示终端（显示器）在系统构建成本中占有相当高的比例，因此，在系统构建过程中，其造价高低直接影响着整套系统的花费。(www.61k.com]显示技术的飞速发展，使得商用显示器的功能越来越丰富，高端、全天候显示、长寿命等要素成为了显示厂商宣传的重点，这让不少需求简单的用户觉得言过其实，一款成本更低的消费级显示器就能满足应用，何必要花大价钱购买商业级产品？从整个数字标牌系统的稳定应用出发，显然，事实并非如此。

相关研究表明，每天，数字标牌显示器的使用时间要比大多数消费者典型的电视观赏时间增加一倍。就目前而言，市面上消费级面板每天的额定使用时间很少超过十小时，而在现行的质量管理系统中，商用级显示器的预计持续使用时间为15小时至24小时，在这一时间区间内，显示器都能稳定运行。为了达到这一标准，商用显示器会采用更高端的组件，这也正是它们花费较高的原因之一。

另外，商用级显示器在散热设计、低功耗设计、亮度设计、安全设计等方面也要优于消费级显示产品，而这些因素会直接影响应用效果。

对于行业用户而言，为了确保自身的数字标牌系统长时间稳定运行，采用商业级显示产品很有必要。当然，这并非让用户盲足追求多功能。目前，为了满足用户的多元化需求，显示器厂商会推出一系列的产品，从基本款，到针对特定环境应用的特供款，功能不一价钱也各异，行业用户可以根据自己的实际需求进行选择。

金属底座比塑料底座更结实？

在如今的数字标牌显示器市场，对自身产品进行营销宣传时，不少厂商会将金属底座作为产品结实耐用的宣传点，使得不少消费者形成了金属底座比塑料底座更好的印象，即使花费更多也乐于接受。事实上，这是一个明显的误区，就目前的技术而言，金属底座与塑料底座完全可以达到一样的应用效果，关键在于设计是否合理。

底座是整个机架安装的重要组成部分，安装过程中，只要找准安装点，即使是塑料底座也能达到预期的固定效果。实际操作中，不少机箱会随着时间的推移出现裂缝问题，这就是安装点不准确导致的直接后果。终端用户在安装过程中一定要加以重视。

显示器的亮度越高越好？

时下的商用显示器市场，高亮度已经成为了一个彰显技术领先性的重要标志，本着保证数字标牌系统领先性的理念，不少用户对于高亮度产品情有独钟，即使增加投入成本也在所不惜。事实上，显示器的亮度选择与应用环境密切相关。

实际操作中，显示屏亮度的选择需要考虑综合的环境因素，包括对比度、视角、观看距离、周围环境的亮度、播放内容的需求等。目前，不少显示器厂商推出的高端产品中，显示器的亮度具有可调性，用户可以根据实际的应用需求自行设定，这在很大程度上提升了显示器应用的灵活性。不过，如果数字标牌系统仅在恒定的环境中应用，如固定的室内应用环境，那么就没有必要花大价钱购买高亮产品，因为，在室内环境中，高亮显示完全没有必要，传统的显示器产品足以满足应用需求。

软件功能越丰富越好？

数字标牌系统是一个长期的应用过程，讲究的长远使用效益，而鉴于数字标牌行业技术更新的迅速，不少用户在系统构建时盲目的追求功能丰富性，导致投入成本的增加。从经济实惠的角度出发，功能够用就好。不过，为了保证系统应用的长寿性，一定要保证系统的开放性，以确保系统的及时升级，满足最新的应用需求。武汉星际互动数字标牌系统：是新一代高度集成的、功能强大的、智能化的信息系统。不仅仅局限于文本、数值，还可以大量地使用图像、动态视频、声音等各种媒体的信息，具有更好的信息表现效果、更好的交互性、更大的信息使用范围。系统基于Web的全B/S先进架构，支持大用户数、大并发数和分级管理，可以同时连接数千、上万个播放终端。其还具有强大的扩展性，并预留和CRM、排队叫号系统等接口。

播放器产品越小越好？

在实际应用中，为了保证数字标牌系统的外观美观性，外形小巧的播放器产品成为了行业用户的宠儿，部分用户甚至秉承“越小越好”的选购理念。诚然，播放器越小巧，安装越灵活，相应的，技术要求也越高，从而导致了成本的提升。

从技术层面来说，播放器的体积越小，散热设计就越困难，这就意味着并非每个厂商都能完成符合应用需求的生产，市面上不乏以次充好的产品，因此，为了保证系统的稳定运行，用户在选购产品一定要考察散热情况，切忌满足追求“小而精”。实际系统构建中，只要设计合理，播放器的体积不必最小，也能达到预计的效果。

结语：

当前，数字标牌的应用虽然越来越大众化，但是，其本身的专业属性并未改变，因此，为了实现投资利用率的最大化，用户在系统构建之前，一定要明确自身的应用需求，“量体裁衣”，在满足应用需求的前提下，尽量降低构建成本，体现数字标牌的经济效益。关于“数字标牌系统”信息，欢迎百度搜索 http://www.zwaveasia.com.cn/ 数字标牌系统”，信息更全！

本文标题：数据分析系统架构-大规模机器学习：将数据科学引入生产系统架构的典型模式
本文地址： http://www.61k.com/1098344.html