为您找到与cpa数据分析师含金量相关的共129个结果:
互联网技术和信息技术的发展给社会带来大变革的同时也带来了大数据时代。大数据时代的到来对社会带来了机遇与挑战。下面是读文网小编为大家整理的计算机大数据论文,供大家参考。
一、大数据给计算机教学带来的变化
大数据必将给教育带来巨大的改变,曾经依靠经验和灵感的授课过程,将被以数据分析为主的决策分析所代替。而计算机教学既是大数据技术的传播载体,更是最应率先应用大数据技术的课程。无论如何,大数据已经就在我们眼前,已经悄然改变着教学过程,也必将深度改变学校的计算机教育模式。
(一)计算机教学内容的变化
随着大数据技术的发展和大数据分析的成熟,大数据技术及应用必然会成为各高校重要课程。现在,美国的学校已经开设相关课程,比如,大数据分析统计基础、大数据分布式计算、大数据挖掘与机器学习等。国内一些高校也正在尝试开设大数据课程,帮助学生了解大数据,学习大数据分析。下一步,大数据基础、大数据分析、大数据处理的核心技术等等,必将成为计算机专业的必学内容,也会成为高校重要的基础课程。另外,计算机智能教学系统和教育测评软件将更多地使用在教学中,以记录学生的学习轨迹。而计算机专业的教师也必须熟练掌握大数据技术和分析方法。
(二)计算机教学思维的变化
原来的计算机教学基本是灌输式教学,老师教授的是计算机基础知识、C语言编程的模式、数据库的基本架构,等等。大数据和互联网的发展必然会改变这种授课方式,使知识的接受方式呈现多元化倾向。随着移动互联的发展,学生可以随时随地通过互联网更便捷的获取学习内容。而课堂上单纯的照本宣科、按部就班将不能吸引学生的注意力。因此,教师必须转变教学思维,以更多的案例和互动式教学,引导学生去寻找解决问题的办法,寻找“芝麻开门”的钥匙,只有如此才能让学生有兴趣待在课堂。同时,大数据带来的将是对海量教学案例的数据分析,让教师对计算机教学的难点及教授方法优劣有了更加清晰的认识,不必依靠教学经验去判断教学效果,完全可以驾轻就熟地进行互动教学,启发学生寻找最优解决方案,将是大数据时代下计算机教学的突出特点,这是对计算机专业教学思维带来的革命性变化。
(三)计算机教学模式的变化
目前,计算机教学主要模式是备课—教授—上机—测试,教师主要的精力放在了课前备课。而大数据技术的应用,将会让教师把更多的精力放在课后分析上,形成“备课—教授—上机—测试—数据分析—改进”的模式。在这个模式中,课后的数据分析将是整个教学过程的关键环节。通过大数据分析,可以对一个班的学生进行整体学习行为评价,可以对学生上机测试情况进行细化分析,可以对每个学生的学习习惯进行学习评估,分析学生的学习中偏好、难点以及共同点等,从而得出学习过程中的规律,改进教学方式,提高教学质量。
(四)个性化教学的深入开展
大数据技术的发展,使建立覆盖学生学习全过程、全要素的信息库成为可能,学生大量的试卷、课堂表现留存,学生的学习经历及成长轨迹,学生的家庭情况等等,都将被涵盖在大数据分析中。另外,前述的计算机智能教学系统和教育测评软件,将详细记录学生每次答题的背景、过程和结果。这些信息让教学分析变得更加容易,教师可以利用数据挖掘的关联分析和演变分析等功能,依靠学生的某些学习特征,比如答题持续时间,具体回答步骤和内容(可以细化到每次击键和每个笔划),答对的要素和答错的要素等等,在学生管理数据库中挖掘有价值的数据,并分析学生的日常行为,研究各种行为的内在联系,来据此形成针对学生个性化的教学策略,以帮助学生在学习方面取得更大的突破。
二、小结
大数据时代,让我们比以往任何时候都更接近发掘学生的潜力,比以往任何时候更依靠于理性分析。其实,教学活动传授的不应仅是知识,更需要关照学生的灵魂。大数据让教学活动离学生心灵很近,让老师离自由发挥很近。未来,包括计算机教学在内的学校教育将会有更少的课堂与更多的实验室,有更多的互动与更少的灌输,有更个性化的服务和更灵活的学制。学校将不仅是课堂,更是舞台。
1计算机基础教育面临的问题
目前,国内高等院校的计算机基础教育更多地沿用了传统计算机教育的方法,只注重讲授计算机的理论知识和操作要领,未考虑学生学习的效果。这导致学生只是记住一些概念和理论,能做基本的操作,却很难用所学的知识灵活地解决实际问题。当前大学计算机基础教育面临以下4个问题:
(1)学生的计算机应用能力差异大
高等院校的学生来自全国各地,而不同地区的中小学计算机教育水平参差不齐。单一的课堂教学已无法保证所有的学生学得会、学得好,这给教学带来了问题。
(2)教学和实验的学时严重不足
目前,各个高校都在减少课时,教师只能在课堂上和实验中加大讲授的知识量,加快教学进度。当一个教师面对几十个学生时,基础较差的学生往往得不到教师足够的指导和练习时间,这给辅导答疑带来了问题。
(3)学习的结果与过程未被记录下来
学生可以利用丰富的网络资源巩固课堂内容,扩大知识面,加深对知识的理解。在传统教学中,教师往往忽视了学生的课后学习,没有记录学习结果与过程,这给教育过程的改进带来了问题。
(4)目前的网络教学系统很少区分学习个体
网络教学系统能够提供大量的多媒体教学资源,帮助教师进行课后辅导答疑,却很少区分学习个体,导致缺乏个体相关的数据,从而难以提供个性化的指导,这给网络教学系统的智能化带来了问题。这些问题归根结底是数据的问题,是数据没有被有效地规划和整合的问题。我们把与学习过程相关的大量数据收集起来,对这些数据进行分析,挖掘出有价值的信息,最后传递给学习者,这是一种解决计算机基础教育所面临问题的可行方法。
2面向计算机基础教育的大数据
在当前知识大爆炸的时代,人们获取知识的途径不仅仅局限于课堂,更多的是网络资源。当代的大学生接受新生事物更快,更愿意在特定的学习情境下去主动构建知识。因此,大学计算机基础教育需要改革现有的教育模式,将大数据技术融入到大学计算机基础教育中,建立与时俱进的大数据驱动的教育模式可以有效解决上述问题。在大数据时代涌现出大量的网络教学系统,随着这些网络教学系统的推广和普遍应用,使用者数量急剧增加,产生了大量的数据。数据之间可能存在某种联系,对这些联系进行分析和挖掘可能会找到有价值的信息。将有价值的信息展现出来,能够帮助我们做出正确的决策。在人类社会的发展已经由动力驱动转变为数据驱动的背景下,教育正在发生着一场新的变革,大学计算机基础教育也面临着类似的机遇和挑战。通过网络教学系统,可以更加方便地获取和利用大学计算机基础教育相关的各种数据
。大学计算机基础教育涉及的数据主要有以下几种:
(1)课件。课件是文字、声音、图像、动画等素材的集合,帮助教师更加生动地讲解课程内容,主要使用PPT和Flash两种文件。
(2)视频。视频是将教师在课堂上的授课内容录制下来,为学生提供课后学习的方式。学生可以在教学系统中下载或在线学习视频内容。
(3)题目。题目主要用于测试学习效果,包括判断题、填空题、选择题、问答题、程序设计题等各种题型。
(4)问题。学生在学习过程中遇到的问题,通过教学系统提交给教师。这些问题反映了学习的难点,是教师在课堂上需要详细讲解的教学内容。
(5)代码。代码是学生做程序设计类题目时所编写的程序代码。学生编写代码的质量可以由教师评判,也可以由系统自动评判。
(6)行为。行为用来记录学生的学习活动,如课件下载行为、视频点播行为、作业浏览行为、编程行为等。这些行为能够反映出学生的学习情况。
(7)缺陷。缺陷是学生提交的作业中包含的各种错误,反映了学习过程中存在的问题。对教学系统而言,这些数据是进行个性化推荐学习的参考依据;对教师而言,这些数据能够提示教学过程中需要特别关注的地方。
(8)过程。过程是指在教学过程中收集到的一些宏观数据,如课件学习过程、视频学习过程、测试过程等。这些过程能够反映出学生学习的个体差异。
3大数据驱动的新模式
在大数据时代,我们可以利用大数据技术在大量与学习相关的数据中挖掘出有价值的信息。这些信息能够帮助学生更加科学有效地学习,较好地解决当前计算机基础教育面临的问题。因此,我们将大数据技术融入到大学计算机基础教育中,提出一种大数据驱动的计算机基础教育新模式。它是在有效规划和整合计算机基础教育大数据的前提下,为学生提供各种自主学习资源和服务的新模式。学生和教师在使用各种网络教学系统时,输入的数据和学习行为都被系统记录下来。利用大数据技术对记录下来的数据进行分析,挖掘出与学生学习特征相关的数据。这些数据为学生的后续学习提供个性化的推荐,规划个性化的学习路线;向教师反馈学生的学习行为和效果,为后续教学提供个性化的推荐,帮助教师改进教学方法。以在线课程系统、在线编程系统和在线答疑系统为代表的各种网络教学系统目前得到了广泛的应用,这些系统本质上都是大数据驱动。实践证明,这些系统的应用将为学生学习和教师教学提供实质性的帮助。
1)在线课程系统是课堂教学的延伸
大型开放式网络课程MOOC是国际上流行的教学平台。自2013年5月以来,北京大学、清华大学、复旦大学、上海交通大学等国内一流高校纷纷宣布加入MOOC,向全球提供免费的在线课程。MOOC采用云计算架构,提供大量的视频学习资源和人机交互功能。学生提交作业后,系统能自动评判作业的质量,以评估学习效果。MOOC的出现给计算机基础教育带来巨大影响。MOOC解决了学生计算机应用能力差异大的问题,学生不管基础如何,都能找到与之相应的学习内容;MOOC弥补了课堂教学学时不足的问题,学生能在课后随时随地找到学习资源;MOOC能够记录学习的结果与过程以及作业中的错误等,这些对于改进教学方式和调整教学重点等都有意义。
2)在线编程系统是实验环节的补充
随着SaaS技术(软件即服务)的不断成熟,出现了许多功能强大的在线编程系统。这给大学计算机基础教育中的程序设计类课程的实验教学
带来了巨大的帮助。使用在线编程系统进行实验的好处有以下几点:
(1)教师不用在实验室的每台计算机中安装软件,学生通过浏览器就可以编写程序;
(2)学生编写的代码都存储在云端,能上网的地方就能练习编程,并且随时可以修改代码,解决了实验教学学时不足的问题;
(3)在线编程系统主要记录代码和代码编写的过程,能够收集实验过程中与学习相关的数据。国外在线编程系统CodeCademy提供了一种学习编程的新方式。它的用户群是零基础的学习者,所以CodeCademy创设趣味性的学习环境,手把手帮助学习者了解编程的过程。它的在线编辑器能让学习者不用寻找、下载和安装编程环境就可以在网络上编程。在线编程系统不仅为实验教学提供了方便的实验环境,还能收集大量的程序代码和学生的编程行为,有助于分析学生的学习特点与习惯,区分学习个体,为制订个性化学习路线提供有价值的数据。
3)在线答疑系统是课后辅导的平台
学生在学习过程中常常会遇到很多问题,这些问题如果能及时得到解答,就能促进学生更深入地学习;反之,就会影响学生的学习效果和积极性。目前,互联网上已经出现了许多人工解答和自动解答的系统。有代表性的是上海交通大学的远程教育设计中心设计开发的AnswerWeb自动答疑系统,它是一个动态的问题及答案的数据库。学生输入关键词后可以在系统已有的问题和答案数据库中查找相关的材料。如果没有找到答案,则会自动转发给教师请求帮助解答。随后,新的提问和答案将被增加到系统库中。系统会记录所有的问题和答案以及学生提问过程中的行为。在线答疑系统应用到大学计算机基础教育中,解决了教师无法在课后对每位学生进行辅导答疑的问题。同时,利用大数据技术,答疑系统将学生提问和获得解答的行为记录下来,自动的分析这些数据,挖掘学习个体特征,为学生的后续学习提供个性化的推荐。
4结语
计算机基础教育必须与时俱进,通过转变教育模式才能满足社会的需求。大数据驱动的计算机基础教育新模式不仅有利于解决当前大学计算机基础教育面临的问题,而且能推荐个性化的学习规划,为学生找到适合自己的学习路线。网络教学系统在收集了大量的学习过程数据后,对这些数据进行分析、挖掘,进而延伸课堂教学,补充实验环节,实现课后辅导,并向学生推荐个性化的学习路线。大数据驱动的新模式给计算机基础教育带来了新天地。
浏览量:3
下载量:0
时间:
随着互联网的普及与信息化进程的推进,为各个行业的发展提供了更加广阔的平台,不仅提升了企业工作效率,还促进了经济发展。下面是读文网小编为大家整理的计算机大数据论文,供大家参考。
1计算机信息处理技术存在不足之处
大数据时代的到来,计算机信息处理技术也存在着很大风险,其中最突出的问题是计算机病毒以及恶意盗版软件等,给用户使用计算机产生了极大的消极影响。这些还是一些比较基础的问题,随着计算机技术的发展,还出现篡改数据、冒名顶替等问题,影响计算机技术服务质量,计算机信息处理技术受到了前所未有的考验。另外,大数据时代的到来,还出现了许多新型网络技术,针对一些繁琐的问题能够有效解决,提高了人们的工作效率,然而,这也在一定程度上降低了网络的真实性,特别是在网络交流和沟通日益紧密的前提下,导致网络信息真假难分,不仅增加了信息搜索难度,而且致使人们无法快速获得真实信息。因此,提高计算机信息处理技术至关重要。
2大数据时代计算机信息处理技术
2.1信息采集、加工方面
计算机信息处理技术要进行工作,首先,要采集数据信息,计算机技术都是建立在数据采集基础之上的,数据采集主要是针对目标信息源进行实时的信息监督和控制,并将才觉得数据储存在计算机数据库中,为各个软件提供信息支持,确保下一项工作顺利进行;其次,对数据信息进行加工,按照用户的要求,对数据信息进行加工;最后,将加工好的数据信系进行分类,最终传送到用户手中,实现数据采集、加工以及传送目标。
2.2存储方面
计算机存储技术是将采集的信息储存到计算机数据库之中,在用户需要某一项信息过程中,可以通过数据库直接将数据调取出来,计算机以其储存量大、速度快等优势,受到人们越来越多的关注,另外,计算机技术还能够实现长时间储存。
2.3信息安全方面
大数据时代的到来,让人们感受技术带来的便捷的同时,也让人们意识到数据信息安全对人们的重要性。因此,为了能够提高数据信息的安全、可靠性,可以通过以下几个方面进行:首先,建立计算机信息安全体系,加大专业技术人才的培养力度,投入资金,为构建计算机安全体系奠定坚实的基础;其次,加大研究力度,开发信息安全技术产品。传统信息安全技已经无法满足大数据时代数据安全需求,为了能够尽快改善数据安全问题,应加大研究力度,寻求更好的解决方案,有效避免数据信息受到威胁;最后,重视对重要数据的检测,大数据时代的突出特点是数据量大,无法实现对每一个数据的检测。因此,为了提高数据安全系数,应加强对重点数据信息的检测,从而确保数据信息安全。
2.4信息处理技术的发展
计算机硬件具有一定局限性,在一定程度上阻碍了计算机网络的发展,而云计算网络能够突破这一弊端。因此,推广和应用云计算机网络成为未来大数据时代计算机信息处理的主要发展趋势。传统计算机网络是将硬件与网络有机结合,抑制了计算机信息处理技术的发展,将二者分离开,促使云计算主筋形成云计算网络,从而构建大数据信息网络系统,推动我国社会不断发展。
3结论
根据上文所述,大数据时代的到来,计算机信息处理技术不断渗透到社会各个领域,对人们的生活产生了巨大影响。因此,作为一种重要技术,应加大对其关注力度,深入研究,逐步完善计算机信息处理技术,为人们提供更加安全、可靠地技术,促进社会健康发展。
一、大数据特征
大数据的特征常用4V来表示,具体是指大数据的四个显著的特征:第一是数据体量,主要指的是巨大的数据量与数据的完整性。第二是数据类型,指数据的种类非常的多而且复杂,大数据技术就是要在这些复杂的数据类型之间寻找其关联性。第三是处理速度,爆炸式增长的数据量要求快速化的处理速度,才能使得数据的有效利用。第四是价值,大数据的最终目标是将庞大数据中找到数据时间的价值关系,通过找到低密度的数据价值对决策做支持。当前大数据技术不仅产生于特定领域中,而且还产生于我们每天的日常生活中,Facebook、微博、微信等社交媒体上的数据就是最好的例子。大数据发展为社会各领域带来的机遇和挑战,网络思想政治教育作为信息时代育人的新载体自然无法回避这个新的环境变化。分析大数据对网络思想政治教育带来的巨大机遇与严峻挑战,探讨如何在大数据时代创新网络思想政治教育的具体措施,进而为下一步发展提供有益的指导已然成为热点研究问题。
二、大数据时代下的网络思想政治教育的新发展方向
(一)树立大数据时代的网络思想政治教育的数据意识网络思想政治教育必须顺应科技与时代的发展。大数据时代教育工作者需要树立网络思想政治教育的数据意识,这是发展大数据环境的网络思想政治教育的首要前提。针对大数据发展网络思想政治教育可以分为如下三个方面。首先是要全面了解和分析大数据本身,理解大数据是什么、大数据的变革力量何在、大数据的未来发展趋势等等;其次是在理解大数据的基础上,系统地分析大数据时代对网络思想政治教育可能产生的影响,带来的机遇和挑战。最后是充分的确立数据意识,意识到数据是现代社会最具价值的资源,是发展与决策的源泉。用数据意识驱动网络思想政治教育工作创新发展,例如在一定的数据分析基础上将灌输式集中教育变为交流式个别教育。
(二)借助大数据技术对网络思想政治教育进行量化研究
定性研究与定量研究相结合是网络思想政治教育的重要研究方法。定量分析法是对社会现象的数量特征、数量关系与数量变化进行分析的方法。定量分析使用数学模块对研究对象可量化数据进行的分析,通过分析对目标给予评价并做出判断。定量分析方法始终受到教育工作研究人员的关注,因为网络思想政治教育中存在极大的不确定性和动态性的因素,定量分析方法可以帮助我们对网络思想政治教育进行科学评价。但与此同时定量分析方法具有很大的复杂性,受很多技术因素的限制,一直不能很好的发挥作用。大数据技术的出现为定量研究提供了一种新的技术手段,成为科学研究新的范式。定量研究可以运用大数据技术进行理论假设、建立数据模型以及数据分析验证。由此可见,大数据时代网络思想政治教育的研究,需要与数据资源丰富的机构单位合作,借助这些数据载体的平台、资源以及高精尖的技术,进行合理合法的挖掘教育对象的信息,从而精确的开展网络思想政治教育活动。另外,要建设一支过硬的网络思想政治教育队伍,不但要具备思想政治教育的专业知识,而且还要具备创新的网络教育观念、精通大数据等新技术手段。
(三)促进大数据时代网络思想政治教育信息资源建设
发挥大数据技术的优势,分析网民的接受习惯,增强教育内容的实效性、趣味性,以服务成长成才为核心有针对性地加强功能开发,提高网络思想政治教育信息资源的受关注度。此外在信息资源建设过程中要注意好以下几点:首先要把握信息资源内容的方向性,弘扬主旋律、传递正能量。其次信息资源的形式要多样,通过文字、声音、图像等形式,经由微博、微信等新兴传播手段,提高教育的实效性。再次,信息资源来源要丰富,可以从各大媒体引进、从理论学习资料借鉴、从大型活动中总结、从日常工作中提炼,确保信息资源及时更新。
三、总结
通过以上的分析,可以看出,大数据时代网络思想政治教育必须在继承传统中实现新发展。坚持不动摇的是网络思想政治教育的基本结构、功能以及原则。创新发展的是符合大数据时代的教育内容与内涵,进而找准变化点,更新网络思想政治教育的研究方法,将网络思想政治教育带入新的发展阶段。
浏览量:3
下载量:0
时间:
在当前的科技水平背景下,计算机对数据进行处理的运行速度已经逐渐无法跟上人们逐渐提升的娱乐需求以及办公需要,这也对计算机技术合理发展以及进步起到了很大的制约作用。下面是读文网小编为大家整理的QQQ,供大家参考。
企业管理数据库[3]的数据信息是由工业管理以及商业管理要求来决定的,收集职工详细信息,包括人员情况、职工薪水、职称晋级、产品指标以及销路规划等,及时了解员工的工作状况以及企业的经济数据,能够提高工作效率,使企业的日常运营方便快捷。当构建企业数据库的时候,比如企业的产品数据库,数据库包含的信息有产品的性能特征、厂家的具体情况等,因此检索字段可以设置为产品名称、厂家名称以及产品分类号等,有利于用户快速检索相关产品,当客户需要查找某种产品的时候,只需要输入主题字或者关键字,就可以获得该产品的产品情况。另外,由于员工的加入以及退出,会导致信息资料的变化,因此,在建立企业数据库的时候,应该严格按照数据库的构建流程,建立完善的数据库体系。对于人员流失比较频繁的部门,应该建立专门的数据库,保证数据库的完善,避免数据库的损坏。在日常工作中,还要不定期对数据库数据信息进行更新。
尽管数据库是严格按照流程进行构建的,但是数据库的漏洞也是难以避免的。比如前后工作之间的衔接以及校验,比如计算机文字的错误录入。因此,必须对数据库进行维护和管理。
1加强数据库管理人员的技能
维护计算机数据库,应该加强数据库管理人员的专业技能和综合素质,使它们能够熟练掌握计算机专业知识,熟练运用计算机相关软件。建立专门的数据库校验部门,分派专业管理人员对数据库进行分析和校验,检查数据库构建过程以及检索过程中出现的错误,并且及时进行核实,并且进行更正,保证数据库信息资源的准确性和完整性。
2加强数据库的更新与维护
当计算机数据库构建完毕以后,应该全面检查输入信息的准确性以及完整性,建立定期检查制度[4],保证计算机数据库的质量,提高数据库的利用效率。数据库的时效性影响着数据库的生命。因为科学技术发展十分迅速,数据信息不断更换,比如国家政策、法律法规等,随时都可能出现过时的现象,一旦旧的法律以及标准被重新制定或者修改和增补,那么就需要重新录入最新数据信息,代替作废的旧信息。因此,除了选择性能好的操作系统之外,还应该及时对系统进行升级,保证系统的稳定运行,还要对数据信息进行实时记录,及时进行更新,并添加到数据库中,有利于利用数据库的信息资源。对于大学图书馆数据库的维护,由于分类名目较多,图书资源繁杂,因此,应该根据学校的性质以及文献的专业设置,细化图书文献资源的分类工作,减少不必要的类别,并且添加新的文献资源。如果不能及时对数据库进行更新维护,那么就无法保证数据库的准确性以及全面性,从而对数据库的有效应用造成影响。对于企业产品数据库的维护,一般在一至两周年内对数据进行更新[5],因为产品可能停产或者改型,也可能研制出了新一代的产品,而且有些厂家可能已经倒闭,或者更换了厂址,或者改了新的厂名,产品信息的变化非常大,所以,必须及时对产品的相关数据信息进行更新,保证产品信息具有一定的时效性。只有及时更新数据库,才能保证数据库的活力与生命,才能满足信息时代人们对于数据信息的需求。
3重视用户的计算机教育
在计算机数据库的使用过程中,还要对数据库的使用者进行相关培训。只有对使用者普及计算机知识以及数据库的知识,才能使用户在使用过程中达到快捷方便的使用目的。另外,还应该编制用户使用手册,并且重点标注重要的注意事项,使使用者能够合理地运用数据库信息资源,避免造成数据库的破坏。
4营造方便快捷的网络环境
当数据库建成以后,必须配备一定数量的、性能好、运行稳定的计算机,还需要定期对计算机的设备硬件以及应用软件进行定期检测和维护,确保计算机数据库的正常使用。营造方便快捷的网络环境,有利于推动社会经济和文化教育,扩展数据库的应用领域,提高数据库的使用效率,充分发挥数据库的强大作用。
随着时代的进步以及科学技术的发展,计算机数据库成为学校以及企业必需的工具。数据库的构建和管理也是一项长期而复杂的工程,因此,在数据库的操作过程中,必须细致入微,衔接得当,创造出一个稳定、准确的操作环境,提高学习和工作的效率。
数据库安全系统除了要保证数据的安全性,还要对数据的相容性、有效性、正确性进行保护,即保证数据的完整性。相容性是指不同用户对同一数据进行访问得到数据是相同的;有效性是指数据库中的理论数值能够满足现实应用中对该数值段的约束;正确性是指数据表对应域的类型与数据的输入值的类型是一致的。防止发生输入和输出数据不符合语义的现象,同时保证数据的相容性、有效性、正确性,才能保证数据的完整性。
操作人员的失误或是计算机的硬件故障等问题对数据库造成的破坏是目前数据库安全系统的保护措施所不能避免的,目前数据库安全系统的保护措施仅能保证数据库的安全性、完整性,并且保证并发事务的正确执行。但是操作人员的失误或是计算机的硬件故障会影响到数据库中数据的正确性,数据库受到破坏、数据库中的部分数据丢失或者全部数据的丢失的现象都有可能是其造成的。所以保证故障恢复功能有着非常重要的作用,它可以保证结束数据库的错误状态,恢复成正确状态。
威胁数据库安全的因素
数据库安全的标志是,数据库的保密性、完整性和可用性不会受到威胁。从实际情况来看,危害数据库的安全因素主要有:一是计算机软件和硬件环境的意外情况,比如:系统的崩溃、磁盘的损坏进而破坏数据;对数据库的不正确的使用破坏现象;非法访问、修改数据库造成的破坏;为了某种目的,故意对数据库造成的破坏;二是通过网络对数据进行的一系列有预谋的破坏活动;三是账号的设置过于简单、脆弱,有些企业方便员工查看相关资料不设置账号密码或者是公开;四是数据库治理人员的角色分工模糊,有些人身兼数职,大大降低了治理效率;软件本身的漏洞等等。
计算机数据库安全管理措施
1安全模型
现在的安全模型可以分为两种:第一种就是多边安全模型。多边安全模型能够阻止对数据库安全措施信息的横向泄露,最大程度的保护数据库信息安全。第二种就是多级安全模型。多级安全模型中分为绝密级、机密级、秘密级由高到低的三个层次,密级或者高于密级权限的人员可以使用该密级信息,军用系统和数据库的安全保密系统首先使用这种多级安全模型,它分层次的对信息进行绝对保护。
2用户标识与鉴别
目前计算机中有非常多的方法可以进行用户标识与鉴别,多种方法也可以在一个系统中同时使用,强化系统的安全性。常用的方法有:输入用户名确定用户身份;回答口令识别用户身份;回答对随机数的运算结构表明用户身份等等。尽管这类方法可以加强系统安全性,到也使成本增加很多,所以,一般都是像百度这类大型企业使用。
浏览量:2
下载量:0
时间:
随着我国信息化时代的到来,计算机数据库系统得到了广泛的发展和应用,在各行各业的发展过程中,计算机数据库管理系统已经取得了很好的发展应用水平。下面是读文网小编为大家整理的计算机数据库毕业论文,供大家参考。
企业管理数据库的数据信息是由工业管理以及商业管理要求来决定的,收集职工详细信息,包括人员情况、职工薪水、职称晋级、产品指标以及销路规划等,及时了解员工的工作状况以及企业的经济数据,能够提高工作效率,使企业的日常运营方便快捷。当构建企业数据库的时候,比如企业的产品数据库,数据库包含的信息有产品的性能特征、厂家的具体情况等,因此检索字段可以设置为产品名称、厂家名称以及产品分类号等,有利于用户快速检索相关产品,当客户需要查找某种产品的时候,只需要输入主题字或者关键字,就可以获得该产品的产品情况。另外,由于员工的加入以及退出,会导致信息资料的变化,因此,在建立企业数据库的时候,应该严格按照数据库的构建流程,建立完善的数据库体系。对于人员流失比较频繁的部门,应该建立专门的数据库,保证数据库的完善,避免数据库的损坏。在日常工作中,还要不定期对数据库数据信息进行更新。
尽管数据库是严格按照流程进行构建的,但是数据库的漏洞也是难以避免的。比如前后工作之间的衔接以及校验,比如计算机文字的错误录入。因此,必须对数据库进行维护和管理。
1加强数据库管理人员的技能
维护计算机数据库,应该加强数据库管理人员的专业技能和综合素质,使它们能够熟练掌握计算机专业知识,熟练运用计算机相关软件。建立专门的数据库校验部门,分派专业管理人员对数据库进行分析和校验,检查数据库构建过程以及检索过程中出现的错误,并且及时进行核实,并且进行更正,保证数据库信息资源的准确性和完整性。
2加强数据库的更新与维护
当计算机数据库构建完毕以后,应该全面检查输入信息的准确性以及完整性,建立定期检查制度[4],保证计算机数据库的质量,提高数据库的利用效率。数据库的时效性影响着数据库的生命。因为科学技术发展十分迅速,数据信息不断更换,比如国家政策、法律法规等,随时都可能出现过时的现象,一旦旧的法律以及标准被重新制定或者修改和增补,那么就需要重新录入最新数据信息,代替作废的旧信息。因此,除了选择性能好的操作系统之外,还应该及时对系统进行升级,保证系统的稳定运行,还要对数据信息进行实时记录,及时进行更新,并添加到数据库中,有利于利用数据库的信息资源。对于大学图书馆数据库的维护,由于分类名目较多,图书资源繁杂,因此,应该根据学校的性质以及文献的专业设置,细化图书文献资源的分类工作,减少不必要的类别,并且添加新的文献资源。如果不能及时对数据库进行更新维护,那么就无法保证数据库的准确性以及全面性,从而对数据库的有效应用造成影响。对于企业产品数据库的维护,一般在一至两周年内对数据进行更新[5],因为产品可能停产或者改型,也可能研制出了新一代的产品,而且有些厂家可能已经倒闭,或者更换了厂址,或者改了新的厂名,产品信息的变化非常大,所以,必须及时对产品的相关数据信息进行更新,保证产品信息具有一定的时效性。只有及时更新数据库,才能保证数据库的活力与生命,才能满足信息时代人们对于数据信息的需求。
3重视用户的计算机教育
在计算机数据库的使用过程中,还要对数据库的使用者进行相关培训。只有对使用者普及计算机知识以及数据库的知识,才能使用户在使用过程中达到快捷方便的使用目的。另外,还应该编制用户使用手册,并且重点标注重要的注意事项,使使用者能够合理地运用数据库信息资源,避免造成数据库的破坏。
4营造方便快捷的网络环境
当数据库建成以后,必须配备一定数量的、性能好、运行稳定的计算机,还需要定期对计算机的设备硬件以及应用软件进行定期检测和维护,确保计算机数据库的正常使用。营造方便快捷的网络环境,有利于推动社会经济和文化教育,扩展数据库的应用领域,提高数据库的使用效率,充分发挥数据库的强大作用。
随着时代的进步以及科学技术的发展,计算机数据库成为学校以及企业必需的工具。数据库的构建和管理也是一项长期而复杂的工程,因此,在数据库的操作过程中,必须细致入微,衔接得当,创造出一个稳定、准确的操作环境,提高学习和工作的效率。
一、计算机网络数据库安全概述
对数据库进行安全保护,可以有效避免用户非法越权使用、窃取、更改甚至破坏数据。数据库安全包括以下几点。
1.逻辑完整性。保护数据库的整体结构,如对某个字段进行修改时,其他字段没有遭到破坏。
2.物理完整性。数据不会受到自然及物理问题的破坏,如电力和设备故障等问题。
3.元素安全性。数据库中存储的所有元素均正确。
4.访问控制。明确只有通过授权的用户才可以访问数据库,可以通过不同方式限制不同用户的访问。
5.可审计性。能够对数据库元素进行追踪存取与修改。
6.可用性。授权用户可以对数据库进行自由访问。
7.身份验证。审计追踪、访问数据库必须进行严格的身份验证。
二、计算机网络数据库存在的安全威胁
1.数据库的下载。多数用户在使用ASP编写连接文件中,大都用语句“(conn.asp):”对数据库进行保护。单从语句的连接上看是正确的,而且名称长度也很保险,下载者对数据库难以识别解除。但是如果通过暴库技术与相关工具,就可以快速定位具体数据库的各种情况,一般是用“%5c”命令,虽然不能百分百成功暴库,但是出现暴库的几率非常高。在获取地址后通过IE输入,再下载到本地,就能够获得用户名及密码。
2.注入SQL。互联网中,大多数是在设立防火墙后才布置WEB服务器,只开放80端口,非法者无法入侵其他端口,因此,80端口是他们入侵的目标,而常用方式是注入SQL。有少数程序编制者在编写程序的代码时,忽略了对用户输入的数据正确性的辨别,使得应用程序面临很多威胁。在客户端对代码进行传输,收集处理程序与服务器数据信息,得到所需资料,这种操作被称为注入SQL。注入SQL可以常规访问80端口,相当于普通Web页面进行访问,防火墙对注入SQL无法获取报警信息,如果管理员不能及时进行审核检查,几乎很难发现被入侵。
三、维护计算机网络数据库安全的应对措施
1.严格查堵URL端漏洞。在审核用户使用数据库的情况时,若发现用户端在URL提交参数时,存在exec,insert,delete,from,count,user,xp_cmdshell,add,asc(,char(,drop,able,mid"等用在注入SQL中的字符以及字符串,就必须立即禁止ASP的运行,而且会显示出如“出错提示”等报警信号,对于有接收的用户端在URL提交参数程序时用<!--#includefile=“../*****.asp”-->即可写入程序,该方法能够有效防止多数入侵者的入侵,同时还不会影响程序执行的速度;也可以在if语句中对注入SQL常用的字符、字符串进行设置,在特定的时间里拒绝IP访问,增强数据库安全,防止黑客非法入侵。
2.严格查堵form和cookies漏洞。有些袭击者通过form、cookies提交含有“or”、“=”等字符入侵,为防止入侵,应该在编写程序时添加特殊字符,确保程序安全执行。可通过paraname=Request.form()即paraname=Request.Cookies()获取用户名与密码,再加入代码,如果在用户参数paraname中发现空格、=、or等字符时,应该终止then后面的执行情况,不再运行ASP,以拦截入侵者入侵。
3.增强自身安全。暴库是因为IIS服务器具体显示各执行错误的情况并中断执行时,把错误信息发送给了用户。为防止暴库,应该调整IIS默认设置。通常的防范措施是把数据库后缀名由MDB变为ASP、ASA。虽然该方式可以防暴库,但随着计算机技术的发展,该方法已经无法满足最新防范的要求。后缀修改的ASP、ASA的数据库文件,黑客能够进行查找并确定具体存储位置,可以通过迅雷等下载获得。
4.数据库名的前面加“#”。现在大部分的管理员在数据库名的前面加#号,可以有效防止数据库被非法下载,这是因为IE不能下载带#号文件。但是网页不仅可以通过常规方式进行访问,还能够通过IE编码技术进行访问。IE里的不同字符都存在相应编码,编码符号“%23”可以取代#号,以此种方式进行处理后,数据库文件后缀加#号是无法被下载和使用。
5.加密用户密码。加密用户密码也是一项有效的应对措施,一般是采取MD5进行加密。MD5没有反向算法,因此很难解密,黑客们即使获得加密情况,但还是无法找出正确的原始密码。虽然可通过UPDATE方式以其他密码替代,但是这种操作难以实行。需要注意的是,信息数据进行MD5加密后很难解密,因此用户必须防止密码丢失、忘记。这种加密方法必须改变前用户的所有资料,用户要对资料进行重新设置,还要把数据库中经过MD5加密放入相关字段进行计算后才能再次存储。
四、结论
数据库的安全直接影响到整个计算机网络系统的安全,因此,应该采取全方位的保护措施,保证计算机网络系统的安全,为广大用户营造安全且稳定的网络运行环境,以防止计算机网络数据库被非法入侵和袭击。
浏览量:2
下载量:0
时间:
计算机技术发展至今,已经成为了多元化技术的一种统称。计算机的软件技术是目前应用最为广泛的技术,也是发展最为迅速的技术。下面是读文网小编为大家整理的计算机数据处理论文,供大家参考。
一、防雷电波侵入的措施
计算机网络系统防雷电波侵入,特别是高层建筑物内的电子计算机设备的供电电力线不可架空敷设进入大楼。已经这样敷设的地方,应采取改造措施,改用铠装电缆穿金属管埋地敷设进入楼房,并装上电源避雷器,会收到好的效果。数据通信的信号线在户外传输时不可架空敷设,应穿金属管埋地敷设,在两端信号线上装上相应的信号浪涌保护器,金属管两端应接设备保护地。金属管埋地线路要避开直击雷引线和接地体。信号线在户内传输时,不可与强电线路并排平行敷设。
二、防感应雷的措施
(一)电源系统的防感应雷
目前市场上有三相四线组合型电源浪涌保护器和单相组合型电源浪涌保护器,有箱式带雷击数计数的和简易型,单相又有并式和串式,还有多种直流电源浪涌保护器。各种场合均有相应的电源浪涌保护器。这些电源避雷器性能稳定,安装方便。一般应在总电力室、楼层配电屏和机房等设三级来防护电源系统的感应雷,采用者三级防护来实现逐级泄流的作用。
(二)数据信号线防感应雷
1、用交换网进行远程通信的广域网,在Modem前用两线信号浪涌保护器。
2、在异步串行通信端口用RS-232-C25针9线或9针9线速率在20Kbps或64Kbps以下的数据信号浪涌保护器。这种浪涌保护器使用场合较多,比如Modem与主机或终端间作为二级防护;以太网或Novell网总线结构粗缆网路由器与Modem间作二级保护;在终端服务器与终端间以保护终端服务器;各银行系统营业部服务器与各终端通过RS-232-C接口的地方都可使用这种避雷浪涌保护器。
3、局域网总线结构细缆网BNC连接速率100Mbps的数据信号浪涌保护器,用于以太网、细缆Novell局域网与终端串接,安装方便。
4、通过HUB采用星形连接方式的10BASE-T网络,用RJ45连接器连接双绞线传输的数据信号浪涌保护器。
5、两线平衡传输的数据信号浪涌保护器,用于监控系统或自动控制以及电流环的地方。
6、采用卫星数据通信的广域网,在室内收/发单元或室外单元使用卫星数据通信同轴浪涌保护器。这些信号浪涌保护器安装方便、性能好,能有效地防止感应雷击。安装后不影响数据传输和通信。具体安装多少个信号浪涌保护器,要根据具体单位的设备位置和布线来确定,一般是信号线上楼或到别的房间要考虑安装,以防感应雷击。
三、防止地电位反击
系统的接地是比较复杂的问题。我们的看法是防雷与接地是一个整体,而且接地是做好防雷的基础。我们主张接地系统能分开则分开好,分不开或高层建筑物及综合通信系统应采取联合的接地方式。或采用分开接地方式,对于弱电电子设备,各接地系统应相距20米以上。这样的接地体才是独立的,不致于造成地电位反击。因为雷电流是属于高频冲击波,在地中传播时,电压随距离的衰减成一个嗽叭口的曲线形状。按照GB50174-2008《电子计算机机房设计规范》中的规定,计算机机房应采用四种接地方式:
●交流工作接地,接地电阻不应大于4欧;
●安全保护接地,接地电阻不应大于4欧;
●直流工作接地,接地电阻按计算机系统具体要求确定,若设备较少,接地电阻可以为2欧;若设备多,其接地电阻应不大于1欧;
●防雷接地,这里指防直击雷接地,应按现行国家标准GB50057-2010《建筑物防雷设计规范》执行,一般不应大于10欧。一个单位、一栋大楼、一个系统的接地问题应全盘综合考虑,为安全提供条件。首先要考虑供电系统的接地问题,供电系统有一个体制问题。按照国际电工委员会(IEC)的规定和要求,我国采用的几种供电体制中与计算机机房供电有关的有TN-C;TN-C-S;TN-S;TT四种体制。供电的系统接地指变压器低压侧中性点直接接地的系统,低压负载侧电气设备平时不带电的外露导体的接地称为保护接地。而保护接地又分为接零保护和接地保护,计算机机房提倡采用TN-C-S系统供电。即接零保护的三相五线或单相三线制。中性地N、保护接地PE、直流工作接地和防雷接地,这四种接地在“电子计算机机房设计规范”中有两种规定:第一,交流工作接地、安全保护接地、直流工作接地、防直击雷的接地等四种接地宜共用一组接地装置,接地电阻按直流工作接地确定,这属于机房的联合接地方式。第二,分开接地,若防直击雷的接地单独设置接地装置时,其余三种接地宜共用一组接地装置,接地电阻按直流工作接地的电阻确定,而且与防直吉雷的接地体要相距20米以上,以防止反击。高压变压器低压侧中性点的接地有三种与直流工作接地、联合接地装置的连接方式。另外计算机局域网的总线结构形式中粗缆网、细缆网采用的传输介质同轴电缆,其外皮金属在整个网上都是悬空的,不可轻易乱接地,只能在服务器的远端的一个终接器接地,且必须接设备保护地。电子计算机系统的接地应采用单点接地方式,当多个电子计算机系统共用一组接地装置时,宜将各电子计算机系统分别采用接地线与接地体或汇集线连接,连接线一般采用绝缘铜芯绞线,其截面应大于35mm2,引线越长,其线的截面越大。我们的多功能防浪涌保护器的接地一般是利用建筑物的接地装置并应与建筑物的避雷带相连。各种防感应雷的防浪涌保护器的接地,一般均接到被保护设备的保护地上。
1对传统数据处理与现代结构实验数据处理的分析
从以上的论述中可以看出,传统计算机辅助数据处理还存在诸多的问题,为了有效的解决这一问题,研发出了现代结构数据处理系统,该系统相对于传统的数据处理系统而言,存在以下优点:首先,在新的软件系统中引进了数据库技术,其操作模块和数据模块是独立的两个模块,可以实现其独立工作。其次,该系统采取了C/S的管理模式,这种模式可以实现对量测数据的管理、导入以及结果处理。再次,采用SQL语言编辑形式,可以对测试数据的快速查询和对实验要求的快速访问。最后,该系统中预留了数据入口接驳功能,可以实现自由的职能扩展。
2实验数据处理技术方案
2.1实验概况
本次结构实验选取某铁路钢构三跨PC箱形桥,按照刚度相思的原则,将该桥的尺寸和模型尺寸拟定为18.2:1,该桥模型的总长度为29.6米,在墩身的建筑中,使用的是C40的混凝土,墩台使用的混凝土型号和墩身使用的混凝土型号保持一致,在桥身的建筑中,采用的是C60的混凝土类型,在1号和4号桥墩采用的支座是活动的,2号和3号桥墩采用的刚性连接支座,并对其采用竖向和水平的加载方式。在本次实验工况研究中,设置了四种工况,包括水平推力、张拉、配种以及竖向加重。
2.2对结构实验的分析
按照结构实验数据处理的一般流程将软件化为为三个层次,第一个层次就是数据库层,主要用于存储试验中用到的各种信息;第二层为数据管理层,主要负责对试验中各种数据的管理;第三层为处理结果层,该层主要是根据第二层下达的任务,实现对数据的结果表达。在Matlab软件中,设计了一套完整的控制函数,并包括I/O设备访问所需要的函数,该函数可以实现对硬件的有效控制,同时也满足了硬件之间的通讯功能。
2.3对实验结构数抽象据库的分析
根据实验模型的机构体系,根据数据库的原理,可以得出抽象的数据库模型,该数据库的模型可以通过Access2000实现。在该数据库模型中,涉及到的因素很多,例如用于存储百分表位移计分布信息的位移测点表,存储加载历程和工况的工况信息表,除此以外,还包括应力信息表、压力信息表、位移测值表以及应变信息表。在数据访问和数据管理操作中,不会对其他表进行操作,只需要通过位移测点表、测点信息表以及工况信息表来完成。采用这种数据访问和数据管理方法,可以有效的确保原始数据不受到破坏,提高原始数据的安全性。
2.4对数据管理和数据处理的分析
在对数据进行相关操作时,要确保数据的安全性。因此,在进行数据库操作的过程中,应该将其放在安全性比较高的C/S模型中,并在其前端管理程序中实现。通过控制Matlab软件编程数据管理程序,在ODBC中建立相应的数据库接口,从而在Database中实现对数据的处理和数据访问功能。在对数据库进行管理的过程中,需要实现多个方面的功能,具体来说,主要包含以下几个部分:首先,要预留出UCAM接入口和PC接入口,并实现对数据的手动导入和自动导入功能。其次,要按照一定的条件,实现对数据的访问和对数据的查询功能,并做到便捷和高效。再次,要实现数据处理任务定制功能,根据数据查询的结果和数据的性质,程度可以对程度做出智能判断,并建立起数据连接机制和数据导入机制,最后利用Matlab来实现对数据库的管理功能。根据以上的论述,利用Matlab编程程序,实现了对数据的初步自动化功能和可视化功能。
3总结
综上所述,在计算机进行大型结构实验和现场检测数据处理时,要以数据处理流程为基础,并遵循其处理流程进行数据处理,其管理功能可以利用Matlab软件来实现,并利用Matlab软件软件的计算功能,实现对节后实验数据和现场检测数据的处理、查询以及浏览。通过这样的计算机数据处理程序和流程,可以有效的一高数据的效率,并且可以确保原始数据的安全性。在本研究中,所设计的结构能够有效的节约人力和物理资源,减少工作人员的实际操作,实现对资源的合理利用。
浏览量:2
下载量:0
时间:
大数据时代的到来,使图书馆的数据来源及信息服务模式都发生了变化。图书馆应探索利用大量半结构、非结构化数据对图书馆的信息服务进行深度挖掘,以寻求新的发展模式。以下是读文网小编为大家精心准备的:大数据对公共图书馆服务的影响探讨相关论文。内容仅供参考,欢迎阅读!
摘要:随着计算机技术的发展以及互联网技术的进步,大数据时代正在悄然来临,为各行各业的发展带来了前所未有的挑战。大数据的存储和运算能力对公共图书馆的建设和发展来说既是机遇也是挑战,如何应对这一新的信息技术的冲击关系着公共图书馆未来的发展走向。公共图书馆要大力提高对数字图书资源的分析、储存和处理能力,确立较高的管理和监督标准,重视大数据时代公共图书馆的信息安全建设,才能更充分安全地发挥公共图书馆的应有职能。
1.1 大数据的基本内涵
计算机和网络技术的飞速发展,促进了信息经济时代信息总量以几何级数的速度快速增长,要对这些信息进行快速、准确的分析、归类,提取出有益于企业以及个人有用的信息,就必须借助于强大的信息管理技术,大数据时代的到来开启了人们对信息重新管理的新时代。维基百科将大数据称为海量资料,其所涉及的资料数据规模巨大、总量甚多,无法透过目前主流软件工具,可以在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯[1]。大数据最初是由世界著名的麦肯锡咨询公司于2011年首先提出,其后,包括美国军方、国防部在内的诸多政府机构、企业事业组织都宣布投入大量资金推动大数据技术的研发和应用。
2012年3月,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略,奥巴马政府甚至将大数据定义为“未来的新石油”。美国政府曾表示将通过提高美国从大型复杂的数据集中提取知识和管理的能力,来加强整个国家的竞争力。显然,大数据不止是一个词汇,更是一门技术,是一个产业时代[2]。公共图书馆作为知识的粮仓、精神的智库,其对信息的储备必然会由传统的纸质书籍收藏走向电子数据存储的新阶段。随着时间的推移,读者借阅信息及电子书会越来越多,因此,公共图书馆要大力提升使用大数据提供服务的质量和水平。
1.2 大数据的特征
大数据是信息化社会对信息进行管理和分析的新技术手段,随着对大数据研究的深入,大数据的一些基本特征也逐渐显现出来。
1.2.1 数据存储量更大。巨大的存储功能是大数据最显著的特征,从以往的MB、TB跃升为PB、ZB,已经显示了这一数据存储新时代的到来。
1.2.2 信息种类更多。大数据对信息的存储不再仅仅满足于文字、音视频资料的存储和整理,已扩展到网络日志、图片、地理信息以及XML、HTML等多种类、多格式的信息,既满足了信息经济时代人们的需求,也极大地提高了人们对信息的处理能力[3]。
1.2.3 信息处理速度更快。信息处理的速度决定了大数据无与伦比的优势,在大数据时代,信息处理速度基本遵循1秒定律,只有迅速地搜集到有价值的信息企业才能在竞争激烈的市场经济环境下迅速占得先机,这不仅有助于提高企业管理的效率,也能极大地促进企业综合效益的提高。
大数据的这些特征若能应用到公共图书馆的日常管理工作中,对分析读者的阅读行为和提高读者服务的质量、吸引更多的读者通过图书馆查询有价值的信息将大有裨益。
2.1 大数据推动了读者对个性化服务的新需求
大数据不仅提高了图书馆系统管理的效率,更提高了读者对公共图书馆服务质量的要求。许多读者碍于时间或空间的限制不能常去公共图书馆,而计算机和互联网阅读则为读者异地、即时利用图书馆带来了诸多的便利,也极大地丰富了读者可以获得的信息总量。因此,公共图书馆可以根据读者的爱好和特点推送个性化的服务,即通过对读者的历史借阅信息进行分析(在征得读者同意且不侵犯读者隐私权的前提下),主动为读者推荐相关的书刊或以知识为单元的数字信息,这样既缩短了读者查询书刊或信息的时间,也提高了公共图书馆管理的效率。
例如广西壮族自治区图书馆“文华集群数字图书馆平台Dlibs”子系统的“DLibs统计分析与决策系统”里的“读者分析”模块,就是对读者以往的借阅历史、个人背景信息(包括借书证状态、证类型、读者性别、读者年龄段、读者文化程度、读者专业、读者职称)、浏览信息、借阅信息等通过大数据进行分析,可按日、周、月、年等的时间统计,结果之一是可大致知晓读者的阅读倾向或研究方向,一方面图书馆以此通过网络定期向读者推送相关信息,另一方面也成为图书馆新书采购的重要依据。能否以大数据的技术和资源优势为读者提供丰富多彩的个性化服务和为自身发展获得决策依据,考验着大数据时代公共图书馆能否及时应对新技术的挑战。
2.2 巨量、复杂的数据对图书馆的存储和处理能力提出新的挑战
大数据时代对公共图书馆存储、处理、分析和整合信息的能力带来了前所未有的挑战,随着手机、平板电脑等移动终端的流行,人们越来越喜欢通过电子设备进行阅读。公共图书馆作为知识的储存基地和传播基地,必然要适应新形势的要求,推出更多的电子资源满足读者的需求。将纸质资源转换为电子资源是一项繁重的工作,但如何快速、准确地对信息进行处理考验着公共图书馆的信息管理水平。近几年,全国文化信息资源共享工程、国家数字图书馆推广工程等数字资源建设共享项目,及各公共图书馆自建的特色数据库和购买的数据库等都丰富了公共图书馆的馆藏数字资源,这为公共图书馆拓展服务提供了资源基础与机制保障。一方面,数据数量和质量是一所公共图书馆发挥自身价值的基础。
当前,许多公共图书馆自身海量数据的存储及运算能力尚不足,又面临大数据对存储能力的高要求,二者之间的矛盾如何化解,关系着公共图书馆在大数据时代能为读者提供哪些阅读服务,以及能否满足不同读者的个性化需求。资源存储能力不足、存储质量不高是大数据时期公共图书馆亟待解决的问题[4]。另一方面,数据即业务的基础,对结构化数据、非结构化数据、半结构化数据的处理能力,包括分析、整合、推送能力的强弱决定着公共图书馆为读者提供服务质量的高低。公共图书馆要提供存储信息服务、搜索服务、咨询服务等,这一切都建立在对信息处理能力高低的基础之上。现行的大多数公共图书馆服务仍以纸质书籍的借阅为主,或辅有一些音像光盘借阅,及只提供在馆内自行下载图书馆自建和购买的数据库相关内容,其服务形式单一,服务效果一般,特别是针对个人读者在主动推送服务上根本没有系统地展开。
3.1 建立完善的人才引进和管理制度
大数据时代公共图书馆服务的改进,离不开优秀的人才和完善的图书馆管理制度。一方面,公共图书馆要主动招揽具有扎实计算机和互联网专业知识的人才,为大数据服务的提供奠定人才基础。定期对馆内员工进行培训,邀请专家、学者为馆员授课,提高所有馆员利用大数据的巨大优势提供服务的意识和水平,丰富大数据的管理和使用经验,提高为读者提供服务的水平。此外,还要提高管理层和馆员的人文情怀,图书馆的目的是为读者提供优质的阅读服务,要警惕公共权力和商业资本对公共图书馆数据资源的渗透和控制,发挥好公共图书馆的公共服务功能。
另一方面,公共图书馆要建立完善的管理制度。首先,要认识到公共图书馆是公共资源,是国家提供的公益服务,服务质量的高低取决于公共图书馆自身的建设水平以及馆员服务意识的高低。要通过不断完善的管理制度,提高馆员的服务意识和水平,发挥好公共图书馆的应有职能。其次,公共图书馆要努力提高馆员的素质,对于工作中表现不积极、服务不热情、失误不断的馆员,要及时进行教育、辅导,严格落实岗位责任制等,才能更好地提高公共图书馆的服务水平。
3.2 提高公共图书馆的数据整合能力
大数据时代公共图书馆需要建设更好的特色数据库、数字资源服务系统及富有个性的门户网站等,不断加强对数据信息的整合和处理能力。一方面,公共图书馆要在现有资源的范围内,购买性价比高的计算机设备和配置较高速的宽带网络,为大数据的建立奠定技术基础。省市级的公共图书馆可以集中各自的优势,协力建设云存储平台,实现资源共享,既扩大了本馆资源的储备量,又节省了必要的资金,减轻了应对大数据的压力[5]。
另一方面,图书馆要以现有的设备为基础,大力提升数据的分析、处理能力,完善公共图书馆的网络基础设施建设,围绕以数据为中心的知识创新型服务中心,深入进行数据的分析和挖掘,通过对读者服务数据和社会网络数据对用户的借阅记录、信息行为、微博日志等各类数据进行深入分析,挖掘有价值的信息,以此为依据,使图书馆不断优化服务方式及提高服务的效率和质量。此外,公共图书馆要定期对馆藏的数据信息进行维护,防止网络和系统受到恶意攻击或病毒的侵扰,保障馆藏资源和读者信息的安全,防止读者隐私泄露。
大数据是集成人工智能、商业智能、数学算法、自然语言理解和信息技术等多个跨学科领域的技术成果,是信息科技领域的一次革命性的进步。大数据的出现改变了人们对数据的认识,也改变了人们的工作和生活方式,大数据对各行各业的影响正在持续不断的发生。公共图书馆作为信息的集散中心,在大数据的冲击下,要以现有的资源为基础,大力提升对信息的处理和整合能力,提高信息的安全性和便捷性,不断利用大数据丰富为读者提供服务的形式,通过提供个性化的服务,充分发挥公共图书馆社会公益的职能。
总之,大数据意味着大机遇,拥有巨大的应用价值,但同时也在工程技术、管理政策、人才培养、资金投入等诸多领域遭遇大挑战。公共图书馆只有不断完善自身的网络基础设施建设,图书馆之间形成协调、稳定、有序网络体系,才能充分利用这个大机遇,建立起以大数据为基础的新的服务模式,真正实现资源共享,最大限度地满足读者需求,丰富公共图书馆对外服务的多样性,使公共图书馆发挥出更大的价值。
大数据对公共图书馆服务的影响探讨相关
浏览量:3
下载量:0
时间:
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。以下是读文网小编今天为大家精心准备的:ETL工具在构建完整的数据仓库体系结构中的运用探讨相关论文。内容仅供参考,欢迎阅读!
数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合。它通常是指一个数据环境,通过提供当前和历史数据来辅助决策支持。数据仓库的组成部分有:数据仓库数据库、ETL 工具、元数据、访问工具、数据集市、数据仓库管理等。通过对多个异构数据源进行有效的集成,并按照应用主题进行数据重组和展示,就形成了数据仓库系统。由此,根据应用需求的不同,数据仓库的体系结构可以分为以下四种:
(1)两层结构:源数据系统经过处理直接加载到数据仓库;(2)独立型数据集市:加工成多个独立的数据集市来满足多种应用需求;(3)依赖型数据集市和操作型数据存储:完整的数据仓库,多个源数据系统先集成到操作型数据存储(ODS),再转换、加载到数据仓库,最后形成部门级数据集市。文章描述的就是此体系结构的构建过程。它的特点是:整合多个复杂的源数据系统;实现各种复杂的数据转换处理;提供多层次的数据访问;满足多部门的即独立又交叉的应用需求;(4)逻辑型数据集市和实时数据仓库:没有独立的数据集市,体现数据加工的实时性。
ETL 过程是数据加工处理过程的统称,包括三个部分:抽取、转换和加载。它的目的是为决策支持应用提供一个单一的、权威的数据源。数据仓库的ETL 过程是整个系统实施的关键环节,关系到数据仓库的建设成效。无论从理论上还是从实践上来说,运用ETL 工具是一个必需的、明智的选择。文章以Oracle 公司的软件产品ODI11g 来讲解。
数据仓库的数据存储有四个层次,即源数据系统、ODS、企业级数据仓库和数据集市。运用ETL 工具就是实现数据在这四个层次中逐层递进的三级加工处理过程。虽然每一级处理都具有抽取、转换、加载的处理,但是它们的侧重点还是有区别的。
(1)源数据系统到ODS 过程:将多个异构数据源集成到统一的数据集结区ODS,重点是抽取处理,兼有字符集转换、数据类型转换等处理。(2)ODS 到企业级数据仓库过程:将操作型数据转换成事件型数据,重点是转换处理,包含清洗、调和、导出、匹配、合并等多种复杂处理。(3)企业级数据仓库到数据集市过程:将数据按照应用需求进行组合,重点是加载处理,还涉及到索引、更新等处理。下面,结合三级处理,从四个方面描述常见的技术难点及应对。
3.1 数据抽取
(1)静态抽取:为了保证源数据的一致性和完整性,应该抽取操作型数据相关的代码数据和编码数据。这些数据特点是量小,变化小,可以采用全量刷新方法。ODI 工具中,编制一个接口,指定源表和目标表,确定LKM 和IKM,即可实现。此方法也适用于初次抽取操作型数据。(2)增量抽取:源数据系统包含大量的业务数据,必须通过增量更新的方法才能做到有效的抽取。因此,增量更新问题是一个最重要、最根本的技术问题。ODI 工具内置的变化数据捕获机制(CDC)能有效地解决这个问题。实现思路如下:为源表指定日记知识模块JKM;将源表添加到CDC 列表,并启动日记;编制接口时,勾选日记记录的数据,并指定增量模式的IKM。此外,还可以通过编制ODI 过程代码来利用现有的物化视图实现增量更新。
3.2 数据转换
(1)关键维度的统一:多个源数据系统集成后,首先面临的问题就是关键维度的统一。不同的业务系统有各自不同的关键维度(如纳税人识别号,纳税人电子档案号),这就必须统一到唯一的维度。解决这个问题,可以采用对照表的方法。实现思路如下:选定主要的、核心的业务系统的关键维度;以此维度为主,建立其他业务系统的维度对照表;ODI 工具中,编写接口时,增加连接维度对照表,增加字段映射。
(2)数据表的合并:业务系统中可能存在同一事件信息存储于不同的数据表中的情况。ETL 过程需要将分散的数据转换到一个数据表。虽然可以编写多个ODI 接口实现,但是不可避免地存在数据完整性风险,且编制繁琐、执行效率低下。建议采用多个源数据集来实现,思路如下:在ODI 接口中,配置多个源数据集,并设置数据集的顺序和关系;以第一顺序数据集为主,分别设置目标数据项映射关系;指定带有多数据集功能的标准LKM 和IKM。
(3)数据表的拆分:业务系统的单一数据表中可能包含同一维度下的不同粒度的数据,这时就需要将源表数据拆分成多个目标表。常见的情况是,纳税人财务报表数据表中同时包含月报、季报和年报。由于ODI 11G 版本中限定每一个接口只能有一个目标数据存储,所以必须采用新的方法来处理。这里,介绍两种方法来实现。a.编制多个接口,封装在一个程序包中。步骤如下:分别编制多个接口对应多个目标表,将最后一个接口的“清除日记表”选项设置为真,其余接口该项为假;建立程序包,按顺序导入这批接口。b.改造标准IKM,添加插入数据步骤。步骤如下:编制普通的ODI 接口,实现一个目标表的加工;模拟执行接口,并分析执行语句和顺序;获取与目标表相关的语句;复制IKM,并编辑,按照原目标表语句增加其余目标表的执行步骤;指定新的IKM。此方法优点是执行效率高,缺点是改造IKM 需要一定的技术储备,且增加了项目的整体复杂度。
(4)最新有效数据的问题:分析源数据系统的业务规则时,会发现有多次记录业务操作数据的情况,例如更正申报。这就要求在数据转换时,应以操作时间最新或者操作序号最大的记录作为有效数据。解决的方法有两种:a.编写2 个接口,利用临时表存储最新操作时间或最大操作序号,然后再关联源表数据,最后将2 个接口依次导入程序包。b.改造IKM 接口,增加2 个新步骤,修改1 个原步骤,具体如下:新增步骤-创建临时表;新增步骤-在临时表中插入满足业务逻辑的最新有效凭据(时间或序号);修改步骤-在目标表中插入关联到临时表的源表数据。
3.3 数据加载
(1)创建目标表主键:虽然在接口中可以指定目标表的主键,但是标准的ODI 处理并不能自动生成该主键。为此,改造IKM 来实现这个重要功能:选择适当的IKM,为其增加一个选项,并指定类型和默认值;在原IKM 步骤中,增加一个创建主键的新步骤,并在此步骤的选项栏次中勾选新增选项。
此方法的原理是通过一个自定义选项来控制IKM 的逻辑判断,由用户通过配置来决定是否执行此步骤。
(2)实现增量的全量加载在企业级数据仓库和数据集市中,常常需要对不同粒度的数据进行加载,例如将月度数据加载到年度分析中。为此,文章提出以增量的全量方式加载数据,提高效率。具体思路如下:获取增量中所有的月度;删除目标表中包含这些月度的年度数据;重新获取源表中包含这些月度的数据,并加工成年度数据;加载年度数据到目标表。
数据仓库是包含一系列理论和技术的综合环境,它的目的是为数据分析和决策支持提供历史的、丰富的、可用的数据。由此,数据的存储和处理也紧紧围绕这一目的而展开。在这个过程中,工具软件有着不可替代的重要作用。很多开发建设理念就集成在工具软件的应用中。只有充分理解其基础功能,将其不断改造完善,才能使这些理念和规则落地,支撑起整个数据仓库。
浏览量:2
下载量:0
时间:
云平台是转向云计算(cloud computing),是业界将要面临的一个重大改变。各种云平台(cloud platforms)的出现是该转变的最重要环节之一。顾名思义,这种平台允许开发者们或是将写好的程序放在“云”里运行,或是使用“云”里提供的服务,或二者皆是。至于这种平台的名称,现在我们可以听到不止一种称呼,比如按需平台(on-demand platform)、平台即服务(platform as a service,PaaS)等等。但无论称呼它什么,这种新的支持应用的方式有着巨大的潜力。以下是读文网小编今天为大家精心准备的:浅谈数据密集型数据资源云平台的构建相关论文。内容仅供参考,欢迎阅读!
美国《福布斯》杂志称“如今,在浏览新闻网站或者是参加行业会议时,想看不见或听不到‘大数据’这个词几乎是不可能的”,大数据已经成为产业界、科学界和政府部门等各界的关注热点。近几年来, 《Nature》、《Science》等国际顶级学术期刊相继出版专刊来推动大数据的研究,中国、美国等多国政府也展开了对大数据的研究部署工作。产业界已经率先认识到大数据所蕴含的海量价值及其战略意义,Amazon、Google、IBM 等IT 巨头纷纷探索应对大数据的解决方案,云计算逐渐成为他们共同的探索方向。科学界也逐步意识到大数据的影响,认为随着大数据时代的到来,科学研究已经进入数据密集型科学研究( Data-Intensive Science Research) 阶段,中国论文网科学范式的转变成为科学界的研究重点。本文探讨了数据密集型科学研究的内涵和特征,以及科学界面临的挑战,并构建了数据资源云平台以帮助科研人员应对数据密集型科学研究中的问题。
数据密集型科学研究是直接从海量数据中发现科学规律的一种研究范式,是在大数据环境下对实验科学、理论科学和模拟科学的继承与发展。它由三个基本活动组成: 科学数据的采集、管理和分析,其数据来源主要有大型国际实验,跨实验室、单一实验室或个人观察实验,个人生活等。在这一新的科学研究范式中,先利用科学仪器或者模拟方法采集数据,然后通过计算机软硬件设备进行数据的管理和分析,将处理分析后的数据、信息和知识存储在计算机中。信息科学贯穿科学活动的始终,而科研人员对数据的审视是在整个科学活动中比较靠后的步骤才开始的。数据密集型科学研究作为科学大数据环境下科学研究的新发展,具有以下三个特征:
( 1) 数据驱动,而不是假设驱动。传统阶段,实验科学、理论科学和模拟科学能够获得和使用的数据相对匮乏,只能采取假设驱动型研究方法,首先根据前人研究成果和自身知识进行假设,然后通过设计实验、理论推导或者是计算机模拟等定义好的方法获取相关数据,对假设进行检验。而现在科学研究已经从数据缺乏时代过渡到数据泛滥时代,数据密集型科学研究不需要模型和假设,科研人员的关注重点也从“我要怎么验证这个假设”转变为“我能从这些数据中发现什么关联”,数据成为科研活动的起点和驱动力。
( 2) 强调可重复性。科学研究是人类认识世界、改造世界的重要手段,保证科研结果的可靠性和真实性是科学研究的前提,而可重复性是检验科学研究结果可靠性和真实性最有效的手段。在数据密集型科学研究中,技术的进步使数据传播速度更快、范围更广,产生的影响也更大,所以为了更好地保障科学研究的可信赖性,必须更加重视科研活动的可重复性,从而尽快识别出错误的或者弄虚作假的科研结果,将负面影响降至最低。中国论文网
( 3) 相关关系,而不是因果关系。数据密集型科学研究通过对科学数据的分析和挖掘,直接从科学数据中发现科学规律,认识事物的相关关系,其精髓在于客观,但不能像实验科学、理论科学和模拟科学那样检验逻辑上的因果关系。然而科学研究是人类认识世界的手段,其目的不仅是发现科学规律,还要探索规律运行的本质原因,得到相关性之后还需要结合前三种科学方法解释因果性。
数据密集型科学研究是对前三种科学的继承与发展,将其作为一个新的、科学探索的第四种范式,具有重大的价值和意义,当然也面临一些新的挑战。
2. 1 科学数据层面的挑战
科学数据面临来自诸多方面的挑战,但从研究的角度来说,根本挑战在于其规模性、复杂性和特异性。
( 1) 规模性是科研大数据最明显的特征,也是科研人员所面临的首要问题,主要表现在原始数据的规模性和数据增速的规模性:
①原始数据的规模性。科学研究是持续性的活动,传统科学已经产生海量数据积累,如澳大利亚的平方公里阵列射电望远镜项目自开展以来,每天都能产生好几个千万亿字节( PB) 的数据;
②数据增速的规模性。随着科研人员的研究方法和研究仪器越来越先进,科学研究能够生成和获取的数据量越来越多,数据量的增长速度已经超过了数据存储能力的增长速度,导致数据存储和处理能力与日益增长的数据量之间的矛盾愈加尖锐。
( 2) 复杂性是科研大数据的重要特征,给科学数据共享造成巨大困难,主要表现在数据类型的复杂性和数据结构的复杂化:
①数据类型的复杂性。美国国家科学委员从科研研究类型角度将科学数据分为4 个基本类别: 预测型、计算型、实验型和记录型,这种划分方式模糊了具体学术活动下所收集到的数据类型的复杂性。计算机技术和科学方法的进步使科研人员能够获得的数据类型愈加复杂化,如核磁共振成像、基因序列、电子显微镜数据等形式;
②数据结构的复杂性。传统科学数据主要以结构化的方式存储在关系型数据库中,但是随着科研人员获取数据的渠道和方式的多样化,非结构化数据成为科学数据的主流形式。与结构化数据相比,非结构化数据的组织更加凌乱、复杂,给数据处理和共享带来挑战。
( 3) 特异性是科学数据区别于其他数据的关键特征,对科学数据共享和学术信息交流提出挑战,主要表现在认识的特异性和价值的特异性:
①认识的特异性。由于科学数据与客观世界相分离,对科学数据的认识必然带有主观性,数据采集者认为是数据的采集物,接受者可能不这样认为,观测数据或者模拟数据可能是、或者顶多是“供述的证据”;
②价值的特异性。科学数据作为一种可重复利用的非消耗性资源,其价值增值需经过科研人员的利用来实现。影响科学数据增值程度的因素有两个,一是科学数据本身的价值,决定理论上的最大增值程度;二是数据使用者的能力,决定实际增值程度,而科学数据的交流和共享能够实现数据的多方利用,促使科学数据价值产生指数增长,所以如何实现科学数据共享成为科学界亟需解决的问题。
2. 2 科学研究层面的挑战
首先,科研人员缺乏将数据转化为知识的意识和方法。中国论文网一方面,科研人员没有意识到科学数据的价值特异性,绝大部分科学数据会随着科研人员的退休、项目的结束等原因被遗弃,无法被其他人员使用。另一方面,数据密集型科学研究具有无参考性,科学研究方法需要从传统的假设驱动变为数据驱动,科研人员必须培养数据敏感性,以数据为本,转变自己的研究方法以实现数据价值最大化。
其次,科研人员缺乏设备和技术支持。目前科研项目呈现金字塔型分布,第一层项目能够得到国际财团机构或国家科学基金会的资助,获得超级计算和存储资源,而占大多数的第二层和第三层项目所获得的资助相对有限,数据密集型科学研究的资源需求难以得到满足。科研人员无法平等地获取保证项目所需的资源支撑,延缓了知识创新进程,不利于科学的持续发展。
最后,数据共享方面存在阻碍。一方面,不同地域、不同学科之间缺乏统一的交流平台,虽然科学研究的地理分布性和跨学科性不断加剧,但仍有接近87. 5%的数据未能形成数据源以供科研人员利用。另一方面,数据共享在具体实施层面,会涉及到各方面的利益,政策、制度等因素导致原始数据、研究方法等无法实现真正共享,跨国项目在此方面的问题尤为突出,因此,科学交流体系的完善值得引起科学界和国际方面的关注。
云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池( 如计算设施、存储设备、应用程序等) 的计算模式,Gartner 公布的2014 年的技术成熟度曲线,Cloud Computing 正处于泡沫化的谷底期,已经度过了最危险的期望膨胀期,人们对云计算的认识逐渐趋于理性和成熟,业界也不再热衷于炒作云计算概念,而是将实现云计算的成熟和规模应用作为努力的方向。Gartner 的2014 年十大技术和趋势评选中的个人云时代、规模IT 都属于云计算的应用,云计算真正与实际应用和环境融合,实现从探索向应用转变,成为大数据时代个人和企业进行数据管理的必然选择。
在对数据管理的使用和认识上,很多科学领域都落后商业领域至少10 年,云计算在商业领域的广泛应用对于科学领域具有借鉴意义,将云计算应用于数据密集型科学研究中具有可行性和必要性。
第一,帮助科研人员应对科学大数据规模性带来的存储挑战。超大规模是云计算最基本的特点,其底层由数十万台乃至数百万台的服务器集群组成,如Google 云计算中心已经具有几百万台服务器,云计算中心通过运维管理、资源管理等机制整合和管理这些庞大的计算机集群,具备了海量数据存储能力,能够有效地应对科学大数据的规模性。此外,云计算采取横向扩张方式,即增加更多的逻辑单元资源,与传统通过增加单个逻辑单元资源性能的纵向扩展方式相比,中国论文网横向扩展方式具有成本低、部署周期短、灵活性强等优势,能够更好地应对科学大数据增速的规模性。
第二,为科研人员提供面向非结构化数据的弹性计算能力,以应对科学大数据的复杂性。MapReduce 作为云计算系统中的关键数据处理组件,具有两个核心理念: 一是将问题分而治之,分布式处理是面对海量数据时的首要选择; 二是移动计算而非移动数据,避免数据传输过程中产生的大量通信开销。MapReduce 的设计初衷就是面向海量非结构化数据的处理,部署在海量基础设施之上,使云计算具有能够应对科学大数据规模性和复杂性的强大计算能力。结合虚拟化技术在云计算中的成功应用,云计算可以根据用户实际使用情况对资源进行动态分配,及时满足用户对计算资源需求的变化,帮助科研人员应对突发情况。
第三,实现数据的长期保存和可获得性,为科学数据共享提供保障。科学数据按照科研活动过程来划分可以分为原始数据、推导和组合数据、文献,这些数据是数据密集型科学研究的核心要素,因此必须保证科学数据的完整性、安全性和可获得性。云计算中心具有完善的保障措施,在硬件方面采用了计算节点同构可互换、网络和能源方面的冗余设计等措施,软件方面采用了多副本容错、心跳检测等技术来保证数据的可获得性和安全性。而且科学数据由云计算提供方统一管理,打破了原有数字资源分散的局面,有利于资源的有效流通、利用和共享,实现科学数据的价值特异性。
第四,为科研活动建立统一平台,使所有科研人员可以平等享有各种服务。服务是云计算的核心理念,也是云计算与传统的并行计算、分布式计算、网格计算的一个关键区别。云计算是为了让用户能够平等、透明地使用云计算资源,就像使用水电这样的生活基础设施一样便捷。云计算通过向用户提供统一的一体化平台,将传统的应用集成概念延伸为服务集成,从而将数据采集服务、数据存储服务、数据管理服务、数据处理服务、数据参考咨询服务等资源和服务能力集成到云计算系统中。
然而云计算技术并不能提供完整和通用的解决方案,为了满足可重复性、数据共享等需求,需要运用信息资源管理领域相关技术,才能在更大程度上帮助科研人员应对科学大数据的挑战。因此,数据资源云是以云计算为基础,以数据密集型科学研究为主体,以信息资源管理相关技术为补充,以数据为核心,以科学活动过程为导向,以数据服务为目标的服务平台。
4. 1 云基础服务平台
云计算基础服务平台是整个数据资源云的基础,将物理基础设施按照云计算平台标准构建而成,为上层服务提供硬件支持和环境保障,科研人员可以充分利用平台提供的软硬件设施便捷地构建出大规模应用。其中虚拟化技术是实现科研人员在使用数据资源云时如同使用本地资源一样的关键技术,它能够对计算资源、存储资源、网络资源、科研设备等进行分配封装,向用户提供接口,以虚拟的形式提供给科研人员使用。科研人员可以将他们保存在本地磁盘的数据转移到数据资源云中,交给专业人员进行集中管理,实现数据的长期保存,还可以通过接口访问和使用各种大型仪器设备,平等获取项目所需资源。
4. 2 科学数据处理与服务层
4. 2. 1 科学数据处理
鉴于数据密集型科学研究的特征,数据资源云并非按照传统的思路进行构建,而是遵循数据驱动的理念,以数据为起点,经过科学数据资源科学数据处理步骤之后才是科研人员审视,因此在科学数据处理方面,数据资源云采取的流程、技术都有别于传统的假设驱动型平台。
首先,需要对实验数据、模拟数据、科研人员信息等原始数据进行资源化。资源化的数据才能在后续的操作中产生更大的价值,通过数据集成消除数据之间的异构性,删除重复数据,对关联数据进行逻辑上的封装,减少后期处理中的资源开销。为了满足数据密集型科学研究可重复性的需求,数据世系管理成为科学数据处理过程中必不可少的环节。
数据世系一般出现在包含多数据集的应用中,用于描述数据的产生并随着时间推移而演化的整个过程。对于项目实施者来说,数据世系配合分布式文件系统的容灾备份机制,可以在出现故障时,正确、快速地恢复数据。对于数据使用者来说,可以充分了解数据的演化过程,加深对实验结果的理解,帮助实现科研成果的再现,保证科研活动的可信赖性和可重复性。
其次,科学数据分析是科研活动中的关键环节,主要包括海量语义分析、科研人员需求分析和海量数据挖掘。语义技术可以对概念、术语等进行明确的机器编码定义,并且能够对它们之间的相互关系进行陈述性和条件性的定义,使跨区域、跨学科的数据能够被科研人员、学生甚至是普通大众所理解和使用,是促进数据共享的关键。在海量数据中挖掘规律是数据密集型科学研究的重要手段,数据资源云能为科研人员提供弹性计算能力,MapReduce 在海量数据和非结构化数据处理方面的能力已经得到了各界的认可。而云科学工作流在重复性和流程性工作方面的表现更加优异,可以为科研人员提供可视化建模工具,使科研人员即使不具有程序设计知识也可以根据实际需要设计云科学工作流模型,表示科学工作流的任务及任务之间的关系。
所以,MapReduce 和云科学工作流的结合可以帮助科研人员应对科学数据的规模性和复杂性。中国论文网此外,为了提高后续服务质量,需要根据科研人员的问题和所处问题环境,利用数据挖掘的方法和工具对他们的学习层次、科研经历、研究方向等方面加以分析,挖掘他们的兴趣点和知识需求点,形成隐性需求分析文档,从而为后续的推送服务提供依据。
最后,科研人员对处理结果的价值进行判断和审视。在数据密集型科学中,科研人员不再直接参与科学数据的处理和分析,该任务由数据资源云来完成,他们的任务是在整个科学活动的后期审视和筛选处理分析的结果,将符合条件或者有价值的结果加工处理为知识,发布到数据资源云。如果结果不具有实际价值或者未达到预期效果,科研人员则向之前的环节反馈,数据资源云按照科研人员的反馈信息通过重新选择数据、调整云科学工作流模型等方式来重新进行数据处理,以获得满意结果。
4. 2. 2 数据服务
鉴于数据密集型科学研究具有数据驱动、可重复性等特征,仅仅向科研人员提供知识已经无法满足其资源需求,原始数据、推导和重组数据成为数据密集型科学研究中同等重要甚至更加重要的研究资源。数据资源云将数据服务作为特色服务,在保留传统云服务平台向用户提供知识服务项目的同时,又创造性地将原始数据、推导和重组数据添加到服务内容中,力求向用户提供更为全面的数据服务,满足科研人员在数据密集型科学研究中的需求。
知识层面的服务主要包括知识发布、知识推送和知识交流等环节。数据资源云能够自动地将不同科研人员在不同时间、不同地点生产出来的科技知识进行发布,实现知识的即时公开,缩短知识发现到知识应用之间的时间。知识发布是知识服务的第一个环节,为了实现知识服务效率的最大化,结合前期的科研人员需求分析结果,将最新知识推送给相关科研人员,加速知识流动速率,提高科研人员的科学生产力。数据资源云还为不同学科的科研人员提供交流平台,打破不同学科之间的壁垒。
同时,为从事具体学科研究的科研人员与信息科研人员提供了一种科研场景,实现特定领域科研需求与信息技术之间的大量交互,有助于相应领域语义语言、工具和应用系统的改进和完善。然而,在数据密集型科学研究中,知识与科研过程中产生的推导和重组数据与原始数据相比只是冰山一角,数据是科学研究的基础,向用户提供数据服务,可以提高其工作效率,加速知识创新,主要包括数据共享、数据溯源和数据可视化。
首先,数据的长期保存和可获取性保证了数据共享的可行性,语义分析、数据世系等技术保证了数据共享的价值性。数据资源云是一个开放合作的平台,科研人员可以按需搜索、理解以及利用自己需要的数据资源,实现更大规模的数据流动,实现科学数据价值增值。其次,数据资源云可以向用户提供数据溯源服务。数据资源云不仅可以发布研究成果等知识,还可以发布产生知识整个过程的源流信息和数据,即在提供知识的同时,还可以提供该知识涉及到的支撑数据以及中间过程产生的整合信息、推导和重组数据,以服务流的形式出现,加深对数据的理解和认识。
此外,数据可视化将海量数据通过平面或者立体图形的方式呈献给科研人员,根据前期的数据资源化和分析处理结果,对可视化图形界面进行优化,既可以向用户提供数据的二维、三维的可视化效果,还可以添加时间维,向用户提供四维的数据可视化界面,即数据随着时间的变化而变化,产生动态感,实现过程可视化。此外,数据资源云在实现知识和数据同时在线的基础上,通过数据的生命周期管理,可将数据和知识同时联系在一起且可以交互操作。这样用户在查看某个研究成果时可以直接查看其原始数据,甚至是重做其分析,同样也可以从数据追溯到使用该数据的科研项目及其研究结果,提高科研活动的效率。
数据密集型科学研究是在科学大数据背景下产生的,传统的数据管理技术无法有效地应对科学大数据,云计算技术成为满足现代科研人员科研需求的必然选择。本文构建的数据资源云以云计算为主要框架,并结合了信息资源管理的相关技术,中国论文网是面向数据密集型科学研究的数据管理和服务平台,能够帮助科研人员解决数据密集型科学研究中的科学大数据问题,有利于促进数据共享和知识创新。但是数据资源云中仍然存在一些不足之处,比如如何高效集成不同类型的数据源、更好地保护数据安全等问题,并且本文没有对数据共享、隐私保护等方面的政策制定问题进行探讨,这些都有待在后续的研究中继续完善。
【浅谈数据密集型数据资源云平台的构建】相关
浏览量:2
下载量:0
时间:
近年来,随着计算机网络技术的不断发展和改革,我国已经全面进入了网络信息时代,海量的网络数据记录着人们生产和生活的各种信息,如何对计算机数据信息进行合理分类、科学统计等问题,已成为我国广大计算机数据信息工作者研究讨论的热点话题。以下是读文网小编为大家精心准备的:浅谈计算机数据挖掘相关论文。内容仅供参考,欢迎阅读!
摘 要:社会的发展进入了网络信息时代,随之产生了各种类型的数据海量。在这些数据的背后隐藏着许多重要的信息,如何从这些数据中找出某种规律,发现有用信息,越来越受到人们的关注。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘技术为应对信息爆炸,海量信息的处理提供了科学和有效的手段。本文介绍了数据挖掘的概念、对象、任务、过程、方法、应用领域及其面临的挑战。
关键词:计算机;数据;挖掘技术
计算机数据挖掘技术的产生是社会的一种进步,了解计算机数据挖掘对我们来说非常的重要,计算机数据挖掘在网络信息时代的今天对于一个企业来说非常的重要,计算机数据挖掘甚至成为很多企业的核心竞争力,我们要充分认识数据挖掘的概念、对象、任务、过程、方法和应用领域,只有充分地认识数据挖掘的概念、对象、任务、过程、方法和应用领域,我们才能够更好地完善和发展它。
1.1 计算机数据挖掘的概念
计算机数据挖掘是在社会的发展进入了网络信息时代之后产生的网络衍生产品,计算机数据挖掘主要是通过一定的手段对企业内部进行数据挖掘,然后通过一定的分析,对那些通过数据挖掘得到的数据进行整理,进而分析企业的市场以及企业的发展等等问题。计算机数据挖掘对处于网络信息时代之中的企业来说非常重要,它是处于网络信息时代之中的企业长远发展的助推器,作为处于信息时代的企业要抓住这个促进自己发展的大好契机。
1.2 计算机数据挖掘的对象
计算机数据挖掘具有一定的针对性,计算机数据挖掘的对象(目标数据)并不是所有的数据,它是具有选择性的,计算机数据挖掘的对象主要是指企业中能够揭示一些未发现的隐藏信息和企业中比较有意义和研究价值的数据,明确这一点非常的重要,计算机数据挖掘的对象的选择性是影响计算机数据挖掘效率的主要因素,对于一个没有充分认识计算机数据挖掘对象的选择性的企业来说,它的计算机数据挖掘的效率会比成熟的计算机数据挖掘的企业或者是充分认识到计算机数据挖掘的对象的选择性的企业要低得多。同时,明确目标数据的类型也非常重要,它直接决定了要使用的数据挖掘技术和方法,大体上数据类型分为三类:记录数据,给予图形的数据和有序的数据。
2.1 计算机数据挖掘的任务
计算机数据挖掘主要是对海量的数据进行挖掘和分析,必须经过计算机数据准备和计算机数据规律寻找的固定过程,在计算机数据挖掘的过程中,计算机数据准备和计算机数据规律的寻找一个都不能少,我们要做好计算机数据挖掘的每一步,计算机数据挖掘的任务主要有对计算机数据挖掘的结果与企业的市场现状进行一个具体的联系、对计算机数据挖掘的结果进行一定的分类,对计算机数据挖掘的结果进行一定的变异分析。在处理计算机数据挖掘的任务时,我们要完成计算机数据挖掘的每一个任务,首先,对计算机数据挖掘的结果与企业的市场现状进行一个具体的联系是计算机数据挖掘的根本任务,而对计算机数据挖掘的结果进行一定的分类是计算机数据挖掘的主要任务,最后对计算机数据挖掘的结果进行一定的变异分析是计算机数据挖掘的必要任务。
2.2 计算机数据挖掘的过程
计算机数据挖掘的过程具有一定的复杂性,计算机数据挖掘的基本过程:第一,对计算机数据的来源进行一定的分析。这一步非常的重要,一个完整的计算机数据挖掘的过程必须以这一步为基础,只有对计算机数据的来源进行一定的分析,我们才能够进行下一步的操作;第二,从计算机数据的来源的分析结果中获取一定的信息,然后我们要对计算机数据的来源的分析结果进行研究,在研究的过程中,我们要查阅相关的专业知识和专业的研究数据挖掘的技术,只有具备了相关的专业知识和专业的研究数据挖掘的技术,我们才能够更好地对计算机数据进行挖掘;第三,对计算机数据挖掘的信息进行一定的整合,检查出不太合理的相关信息;第四,数据挖掘的实施。根据挖掘具体任务选择相应的数据挖掘实施算法;第五,结果评估与整理。在完成实施阶段后,要对数据挖掘结果进行评估和整理,完成整个数据挖掘的过程。
3.1 计算机数据挖掘的技术
计算机数据挖掘有很多的专业技术,我们来简单介绍一下主要的计算机数据挖掘的技术:第一,计算机数据挖掘的统计技术。统计是计算机数据挖掘必不可少的技术,在数据清理过程中,统计提供数据发现极端值;第二,人工智能技术。人工智能技术是近些年来新兴的计算机数据挖掘的技术,它在数据挖掘中的应用比较广,它可以对数据进行推断和智能代理,是计算机数据挖掘的重要技术;第三,决策树方法。决策树方法是代表决策集合的单杆结构,它具有一定的分类规则,有一定的预测作用,是计算机数据挖掘的主要技术之一。
3.2 计算机数据挖掘的方法
随着近些年数据挖掘技术的广泛使用,数据挖掘的方法也在不断的进步和完善,现阶段主流的数据挖掘的方法有分类、关联规则、聚类分析等。分类是找出一组数据对象的共同特点并按照既定的分类模式将其划分为不同的类别。关联分析是描述数据之间所存在的关联规则,即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现,即隐藏在数据间的关联或相互关系。聚类分析是把一组数据按照相似性和差异性分为几个类别,使得属于同一类别的数据间的相似性尽可能大。
3.3 计算机数据挖掘的应用领域
计算机数据挖掘最大的应用领域就是商业领域,它能够为商业机构提供欺诈侦查和客户市场分类等数据。在这个高速发展的信息时代,网络是商业发展的主要推动因素,我们要使计算机数据挖掘在商业上的应用领域更广。以下是近些年来计算机数据挖掘的主要应用领域:第一,计算机数据挖掘在我国银行领域中的应用。银行是一个数据集中度和数据处理要求均非常高的领域,对于一个银行来说,每天都要面临着海量的数据,这些数据的挖掘分析对于银行来说是其发展的根本所在;第二,计算机数据挖掘在电子商务中的应用。电子商务是网络高速发展的产物,对于电子商务而言,海量数据的挖掘分析成为了电子商务未来发展的保证,因此,计算机数据挖掘在电子商务中的应用得到了快速的发展。
3.4 数据挖掘技术面临的挑战
数据挖掘技术面临的最大挑战就是隐私的保护和数据的安全性问题。当数据在不同的抽象级别视角去考察的时候,数据挖掘对隐私和数据安全就构成了威胁。它威胁到保持数据安全和防止干涉隐私的目标的实现。如,近期被世人高度关注的“棱镜门”事件,充分说明了数据挖掘技术应用与个人隐私保护之间的矛盾和冲突,它也将是该技术在未来面临的最大挑战之一。
计算机数据挖掘技术是一项正在世界范围内高速发展的技术,我们不仅要对数据挖掘的概念、对象、任务、过程、方法和应用领域进行充分的认识,而且要充分认识到计算机数据挖掘面临的挑战,比如说隐私问题。笔者相信,通过我们的努力,计算机数据挖掘技术将会在各个领域得到广泛的应用,并对人类的活动产生深远的影响。
[l]周碧珍.浅析计算机数据挖掘技术在档案信息管理系统中的应用[J].黑龙江科技信息,2009(01).
[2]余辉,张力新,刘文耀.计算机辅助医学知识发现系统研究——糖尿病并发症流行病学数据挖掘[J].生物医学工程学杂志,2008(04).
[3]张成霞.基于数据挖掘的煤矿计算机综合管理系统的研究[J].煤炭技术,2013(05).
相关文章:
浏览量:3
下载量:0
时间:
土地信息系统能系统地获取一个区域内所有与土地有关的重要特征数据,并作为法律、管理和经济的基础。也就是说,土地信息系统就是把土地资源各要素的特性、权属及其空间分布等数据信息,存储在计算机中,在计算机软、硬件支持下,实现土地信息的采集、修改、更新、删除、统计、评价、分析研究、预测和其他应用的技术系统。以下读文网小编今天要与大家分享的:关于土地信息系统建立过程中的数据质量问题的探讨相关论文。内容仅供参考,欢迎阅读!
摘要:数据对土地信息系统(LIS)来说是至关重要的,数据质量的好坏是土地信息系统建设成败的关键。本文将对土地信息系统建立过程中有关数据质量问题进行探讨。
关键词:土地信息系统、数据质量、误差、分辨率、坐标变换、矢量数据、栅格数据、拓扑
土地是人类的宝贵财富,是人类社会进行物质生产所必需的基本条件和自然基础。如何科学、合理地利用有限的土地资源,如何及时了解与掌握土地利用变化数量和空间特点,对于保持耕地总量动态平衡和土地持续利用具有十分重要的意义。
随着社会经济的日趋多样化,土地部门的业务工作及范围也在不断扩大,原有的靠手工操作,图纸管理的模式已经越来越不能满足高效率的需求。为强化土地管理,满足社会对土地资源信息更多、更细、更完善的服务要求,各土地管理部门纷纷加入信息化、数字化的改革大潮。特别是在市场经济条件下,因土地管理部门工作的严肃性、准确性、科学性和规范化要求,管理中任何规定的确定和变更都需要完成大量的信息收集、分析、综合、决策和评估等工作,土地管理也只有强有力的信息技术(IT)的支持下,才能做到真正的科学决策和管理。
土地信息系统(LIS)是地理信息系统的一个分支,是一种基于宗地[以宗地(地块)为单位]的计算机管理信息系统。是一种利用计算机技术及其属性数据进行采集、处理、管理、查询、分析、应用和维护更新的空间信息系统,是土地管理的现代化工具,是土地规划和管理定量化、科学化的方法、手段。但是,在土地信息系统的建设过程中,还存在许多问题,给土地信息系统的建设及发挥带来一定困难。这里仅对土地信息系统建设中的数据质量问题进行探讨。
数据是一种未经加工的原始资料,是客观对象的表示,它可以是数字、文字、符号、图像,数据是信息的具体表达形式。一个LIS系统包括空间数据、属性数据、空间数据之间的关系以及空间数据与属性数据之间的关联。
人们往往以为计算机为基础的信息系统的数据质量是可靠的,很少怀疑利用信息系统产生的分析结果在数据质量方面会有问题,但事实远非如此。在某些情况下,由于多种原因,计算机分析的结果甚至会比手工分析的误差更大。这里除软件、硬件的质量问题,计算方法上的问题,以及分类、编码、输入、操作的明显疏忽外,数据本身的质量是重要的原因。
众所周知,数据是LIS的“血液”,是组成系统的重要元素。数据质量的好坏是土地信息系统成功与否的关键所在;数据质量的高低优劣,都直接影响到土地信息系统的经济效益和社会效益,决定了系统应用价值的大小;数据的可靠,质量的好坏将直接影响到整个系统的成败。系统如果不能提供正确、可靠的信息,这个系统也就失去了存在的价值。
数据质量的好坏是一个相对概念,并具有一定的针对性。衡量其好坏主要有以下几个指标:误差、数据的准确度、数据的精度和不确定性[1]。数据质量是数据整体性能的综合体现。
统而言之,数据的质量问题主要表现在两个方面:一是数据是否及时反映了现实世界;二是数据是否保持了一致性和完整性。
土地信息系统的数据量大,数据来源广,数据采集的任务重,在数据库建立过程中会出现许多人为和系统的误差,甚至还有可能产生数据错误,最后采集的数据无法准确反映规划和管理的实际状况,建立在此数据库基础上的系统往往也就达不到管理自动化辅助决策的目的,而只不过是“看看而已”的一种“摆设”罢了。
数据库(包括空间数据库和非空间数据库)是土地信息系统最基本、最重要的组成部分,也是投资比重最大的部分。数据质量的好坏,直接影响系统的功能和应用。不仅要根据技术规程衡量数据质量,还要从数据使用角度分析数据质量问题。数据质量通常是指数据的可靠性和精度,它主要用数据的误差来度量的。现就土地信息系统建立过程中的数据质量问题作进一步的探讨。
土地信息系统的数据源指建库中所需要的各种数据类型的来源。它是土地信息系统最基本、最重要的组成部份。土地信息系统的数据源多种多样,主要包括有:地图,地图是系统最主要的数据源,因为地图是地理数据的传统描述形式,是具有共同参考坐标系统的点、线、面的二维平面形式的表示,内容丰富,图上实体间的空间关系直观,而且实体的类别和属性可以用各种不同的符号加以识别和表示。土地信息系统其图形数据大部分都来自地图,土地信息系统的属性数据主要有地籍图、宗地图、土地详查图、土地利用现状图、行政区划图、专题图、乃至地形图等各种图件的矢量化地图数据。二是遥感影像数据,遥感影像数据是一个极其重要的信息源。通过遥感影像可以快速、准确地获得大面积的、综合的各种专题信息,航天遥感影像还可以取得周期性的资料,这些都为土地信息系统提供了丰富的信息。三是统计数据,包括土地的分类、面积、权属、分布及质量、等级状况、利用状况、非法占地等统计资料。四是实测数据,包括GPS点位数据、地籍测量数据等。五是数字数据,包括数字图形数据和属性数据。数字数据主要有地籍号、档案卷宗号、地类号、图号、手簿号、宗地界址点点号及坐标控制点坐标,宗地面积,面积中误差、年代、日期等等。属性数据包括图形、图像以外的各种文字、数字信息。其中文字信息主要是与宗地档案,文件档案组成相关的各种检索和查询信息(如:土地权利人姓名或单位各称、土地座落,文件档案的标题、发文机关、公文字号等等),以及土地登记、地籍调查、权属审核、登记发证各办公流程中的各种键盘输入信息。六是各种立法文件和文字档案,主要有地籍档案、文件档案等具有法律效力或需要经常查阅的原始文件材料,它们是土地信息的重要组成部分,在土地的规划管理中起着很大的作用。
数据源质量问题指数据的采集和录入中可能产生的误差,建库所需的各种类型的数据的可靠性和精度。
从土地信息系统建立的过程来看,它的主要因素有:各种测量数据,地图和遥感数据等的误差;调查和统计造成的属性数据误差,以及文档数据的错误等,数字化前的预处理、手扶踀自动化的分辨率和矢量化精度。
1、遥感数据
地理信息系统、遥感和计算机辅助制图是现代地理学的重要技术手段。遥感作为一种获取和更新空间数据的强有力手段,能及时地提供准确、综合和大范围进行动态监测的各种资源与环境的信息,因此遥感数据是土地信息系统的一个重要数据源。
所谓遥感(Remote Sensing)就是遥远感知的意思,也就是不直接接触目标物和现象,在距离地物几公里到几百里、甚至上千里的飞机、飞船、卫星上,使用光学或电子仪器接受地面物体或发射的电磁波信号,并从图像胶片或数据磁带形式记录下来,传送到地面,经过信息处理,判读分析和野外实地验证,最终服务于有关部门的规划决策 [2]。土地管理部门可以运用遥感技术快速获取现状空间的信息。
尽管遥感技术有很多好处,但因其自身特性,获取的遥感数据可能存在一些误差。如:不同的高度引起的问题,由于传感器的结构及稳定性产生的问题,对信号进行数字化产生的误差。传感器在航线、航向上出现的误差,大气辐射产生的误差,地形和地貌等因素产生的误差等等。在遥感资料的获取时,有些误差是可以控制的,有些则不可控。因此必须对原始数据进行预处理,包括利用地面控制对原始数据进行几何校正,图像增强和分类。对获取的遥感数据进行光谱校正,特征提取,自动识别分类、自动成图等处理[3]。
2、测量数据
各种原始的测量数据是土地信息系统的主要来源之一。包括宗地的权属界线、位置、形状、数量、面积、各级行政界线、地形图测量等。由于人和环境的因素,测量数据不可避免地受到人为误差(对中、读数、平分等误差)、仪器、环境的影响。来源于地面测量的数字数据中含有控制测量和碎部测量误差。其中控制点误差又受控制网的参考基准、网形和观测精度以及观测费用等因素的影响。碎部点误差除了继承了控制点的误差外,还受自身观测方法,观测精度和地界的人为判断,以及地物地貌的取舍等因素的影响。当然原始数据误差受观测仪器、观测者和外界环境三种因素影响。除此之外,还有测量数据的实时性以及数据老化,采集数据的密度不合理,或概括取舍不合理,选取测量规范标准不一致或精度等级不一致造成测量数据的不一致的影响。
地籍要素是构建土地信息系统极为关键的一步,其测量数据的精度高低决定了系统功能能否得到正确和充分发挥。
从地籍测量成果的有效性和土地管理的可能性来考虑,为了保证各权属单元之间的界线清晰,边界无争议,并且双方都能接受而不损害他人和国家的利益,地籍测量要达到一定精度。因此,必须要有相应的数据采集方法作为保证。地籍要素的采集方法目前主要有两种,一种是传统的模拟式外业测图方法,另一种是野外全数字化数据采集方法。传统方法的主要作法是在地籍控制测量的基础上,用解析法测量出权属界址点坐标,以控制点或以界址点为基础施测成地籍图,要形成入库数据信息,则要通过对原图数字化来实现。用传统数据采集方法形成地籍要素数字信息其误差影响因素较多,主要误差来源为:测站点误差m1,量距误差m2,在测图板上描绘方向线误差为m3,刺点误差m4,数字化仪采点误差m5等。按有关专著论述,一般情况下,m1≈±0.12mm,m2≈±0.2,m3≈±0.1mm,m4≈±0.14mm,这四项误差为野外采集误差。数字化m5的影响因素比较复杂,误差产生首先与图形要素有关,要素本身的复杂程度对数字化精度有显著影响,数字化仪本身的精度更应引起重视。正常情况下,用常规数字化仪进行数字化时,精度一般可达到±0.13mm。综合上述得,地籍要素采集精度m采 为:
m采 =±
=±
=±0.02mm
按1:500比例尺来考虑,实地误差将达到±10cm,由此可见,按传统方法施测,则拟入库的地籍要素信息很难达到规定的±5cm的精度标准[4]。
采用野外全数字化方法,界址点野外数据采集一般采用直接测定坐标法,即将全站仪或测距仪置于测站点上,对界址点上的移动棱镜进行水平角和距离测定,电子手薄记录计算。此种方法的主要误差来源为水平角测角误差mβ和测距误差mD,测角中误差角保守为±5″,测距误差主要来自移动棱镜偏离界址点位置误差,其偏离值按2cm考虑。测距平均边长取100m,按点位误差精度估算公式m2= 来计算,则m≈±2cm,即便考虑测站误差和其他偶然的联合影响,点位精度也肯定在规定范围内,所以地籍要素信息数据的野外全数字化有利于提高界址点精度,从而保证地籍数据的质量。
3、调查、统计、文档数据问题
土地信息系统的建设过程中,涉及大量的调查统计数据,这些资料尚存在许多不足之处,为土地信息系统的建设带来了一定困难。
建立土地信息系统,必须首先进行土地基本信息的搜集,开展地籍调查工作,核实宗地权属,掌握土地利用状况,获得宗地位置、形状及其面积的准确数据,为建库奠定基础。
现就地籍调查工作加以探讨,众所周知,权属调查的工作之一是填写地籍调查表。由于权属调查技术性强,工作量大,参与人员多且水平不同等原因,填写后的地籍调查表或多或少会出现下面一些问题。在填土地使用者名称时,单位本应填写全称,可出现了类似这样的情况:某林业局有3宗地,而在3份地籍调查表上出现了xx林业局、县林业局、林业局等名称。按这样的名称录入建立信息系统,将导致不能正确地自动的归户。在填写土地使用者性质时,本应该写“全民”或“集体”或“个体”或“个人”,而出现了“国营”或“国有”或“私营”这样的名词。在填写宗地四至时应说明权属界线所经地物名称及归属、位置、与誰接壤。但出现了东(南、西、北)至xx,而未填出接xx。且有的四至填写错误,如两宗地共用一堵墙时,则只能出现两宗都至墙中,或一宗至墙内另一宗至墙外,但填出了两宗都至墙外或墙内等情况。在填写界址标示处的界址线位置时也有类似错误,有的表填写字迹潦草,或使用简化字,让人难以辨认。有的内容还可以猜出,但户主的姓名、调查员、勘丈员的签名等内容实在难辩;有的表中该填的内容而未填,任意涂改。
共用宗的处理,一个地块被几个权属单位共同使用,而其间又难以划清权属界线,这样的地块称为共用宗[5]。不少县(市)是这样处理的:有多少土地使用者就填多少份地籍调查表,表上的内容按各分宗填写。这样做的好处是所填的内容详细,调查表和土地登记申请书、审批表形成一一对应的关系。但其弊端也是显而易见的,其一较大地增大了填表的工作量,其二增大了复杂程度,在填写四至时,如遇一个土地使用者使用几个地块则不得不写清几个地块的四至;为填清界址指标,又得设置内部界址点,增加了宗地草图和地籍图的负荷量,填表时如不小心还会造成表与表之间的相互矛盾。为了和地调表统一,有的在形成宗地界址点成果表时,除了有宗地界址点成果表外,还有分宗的界址点成果表。如果内部界址点是在纸图上图解的,则将该宗地的宗地界址点和内部界址点和计算机展点后,会出现界址线混乱的情况。在土地信息系统建库时,这些内部点是不能当界址点录入进库的。如进库则在面积统计时,这种内部界址点所围成的区域的面积就被多统计了一次。
建立完备的信息系统,必须具备这样的条件:大比例的地形图或地籍图;野外测量的界址点数据;宗地的属性数据(土地登记申请书、地籍调查表、审批表等)。全省在进行大大规模的城镇地籍时,由于受当时的条件限制,自动化程度低,各作业单位作业水平的不同,或多或少出现一些问题。在建库时所发现的问题主要是界址点的坐标成果与地籍上的位置不吻合;相邻宗的同一界址点坐标不同;界址边长、宗地面积计算有误。某些县(市)为了进行土地登记,由于多方面的原因,在进行初始地籍调查时,只作权属调查,不作规范的地籍测量。为了计算面积,用皮尺或钢尺丈量界址边长及相关尺寸,用几何图形法计算出宗地面积,而不测址点坐标和地籍图。这样做不利于信息化的管理。
4、图形数字化
影响数据质量的因素是多方面的,有相当一部分来自于建库过程中的数字化过程。建库过程中的数据质量,包括数字化前的预处理,纸张变形、手扶跟踪数字化精度或扫描数字化的分辨率和矢量化精度。
(1)数字化前的预处理
用于数字化作业的地形图(工作底图)一般采用聚酯薄膜图,其变形一般小于0.2‰。采用纸质图纸时,图纸的尺寸随湿度和温度的变化而变化,温度不变的情况下,温度由0%增至25%,则纸的尺寸可能改变1.6%[6]。因为纸的膨胀率和收缩率不相同,即使温度回到原来的大小,图纸也不能恢复原来的尺寸。因此在数字化时要适当的比例因子,通过仿射变换进行几何纠正,以减小工作底图变形产生的位置误差,达到相应的精度。
对不同种类和比例的工作底图进行数字化时,应注意它的投影方式是否一致,比例是否匹配。对于不同投影方式应在数字化后及时变换为系统要求的投影方式。对于不同比例应将比例尺和精度记录到元数据中,以便估记由此可能产生的误差。
(2)跟踪数字化
手扶跟踪数字是一种自动化精度较低的数字化方式,其数字化精度也因操作员及其工作的疲劳程度而异,操作员的劳动强度较高。随着大幅面扫描仪的成本不断降低,扫描和矢量化技术不断完善,这种数字化方式可能成为自动扫描数字化的一种补充。
手扶数字化是从地形图输入空间数据的最广泛采用的输入方法。把地形图放置于数字化桌上,用手持设备,跟踪每一个地图特征、数字化设备精确量测鼠标的位置,产生数据形式的坐标数据。
影响跟踪数字化数据质量的因素很多;主要有:数字化底图中地理要素的宽度、密度和复杂程度对数字化结果的质量有着显著影响。数字化仪的分辨率和精度对数字化数据质量有着直接的决定性的影响。《地形图数字化规范》规定,数字化仪的分辨率不能小于每厘米394线(约1000dpi),精度不低于0.127mm(0.005英寸)。常见数字化仪在分辨率方面通常能满足要求,而在精度方面却有相当一部分不能达到要求。在选择数字化仪时要特别注意其精度指标,以满足LIS工程的需要。数字化操作员的技能与经验不同而引入的人为因素误差是不同的,由于操作员视力、操作习惯,熟练程度和疲劳程度的不同,最佳采样点位值判断,十字丝与目标点重合程度的判断会有一定程度的差异,影响数字化的质量。操作方式(如曲线采点方式和采点数目)也会影响数字化数据的质量。
假定各种误差影响符合误差传播规律,手扶跟踪数字化的综合精度应按下式求得:[7]
m数=±
其中:m数 表示手扶跟踪数字化的综合精度;m定 表示工作底图定向误差,m仪 表示数字化仪精度,m人 表示人为因素误差。
(3)、扫描数字化
扫描数字化用高精度扫描仪将图像等扫描并形成栅格数据文件进行处理,将之转化矢量图形数据。规范规定:图形定位控制点扫描误差不大于0.1mm,相对于工作底图,矢量化后的扫描点误差不大于0.15mm,线划误差不大于0.2mm。影响扫描数字化质量的因素除原图质量外,还包括:扫描精度、定向精度、矢量化精度损失等。
①扫描仪的分辨率和精度
扫描仪的分辨率和精度对扫描数字化质量的影响是至关重要的。因此,要根据具体情况选择适当的扫描仪。目前,大幅面扫描仪大致有,滚筒式(drum),平板式(flatebed),直进式(direct feed)3种。这些扫描仪能够输出一种或多种形式栅格数据文件(二值、灰度和彩色)。
滚筒式扫描仪精度较高价格较贵,能以较高的分辨率扫描AO或更大的图纸。
平板式扫描仪与滚筒式一样精度高、价格贵、分辨率很高,但一般幅面不会超过A1幅面。由于平板式扫描仪幅面小,扫描后多需进行拼接,从而增加了工作难度,引入了更多的误差源。LIS工程一般不选用这种扫描仪。
直接式扫描仪精度较低,价格也较便宜。通常能够满足一般LIS工程的需要。
目前,需要的大幅面扫描仪品牌有:CONTEX、VIDER、ANATECH等。
在选择扫描仪时,应注意其是否采用硬件消蓝。光学分辨率代表了扫描仪的分辨率能力,而经销商往往只是给出插值分辨。同时,应注意扫描仪的歪斜失真,歪斜失真的大小与扫描仪的走纸方式有关。
②栅格数据矢量化的精度损失
在土地信息系统中,栅格数据与矢量数据各具特点与适用性,为了在一个系统中可以兼容这两种数据,以便有利于进一步分析处理,常常需要实现两种结构的转换。
栅格的矢量转换处理的目的,是为了将栅格数据分析的结果,通过矢量绘图装置输出,或者为了数据压缩的需要,将大量的面状栅格数据转换为由少量数据表示的多边形边界,但是主要目的是为了能将自动扫描仪获取的栅格数据加入矢量形式的数据库。
在栅格数据矢量的过程中的细化、跟踪等均可能引入一些误差。复杂图形全自动化矢量化效果极差,会产生众多的交叉线,导致多边形跟踪错误。对此,应采用交互式矢量化方法。因此在选择矢量化软件时不应仅仅关心自动化程度(全自动矢量化软件价格往往很高)。还要特别注意是否具有以下功能:智能去斑,裁剪,扭曲较正,比例控制,水平校正,光栅编辑和交互式矢量化等。
③扫描数字化方法误差
扫描数字化的几何分辨率是扫描数字化方法误差中最重要的误差源,减小这种误差的唯一方法就是提高扫描仪的几何分辨率。但是,随着分辨率的提高,栅格数据量以平方级速度增长。这往往造成计算机存储资源耗尽,数据处理时间平方级延长。以300dpi(约每mm12个点)的分辨率扫描时,独立点间距离的相对精度为1.4/1000左右。全自动矢量化细化过程所产生的点位误差为1~2个像素点,而交互跟踪矢量化最大点位误差可以控制在一个像素点。按300dpi计,每个像素点相当于图上0.01mm。扫描数字化综合精度可按下式计算:
M扫=±
其中:M扫 表示扫描数字化的综合精度;M定 表示底图定向误差;M仪 表示扫描仪精度;M矢 表示矢量化误差。这里,M定取±0.12mm,按300dpi计算M仪取±0.09mm,M矢取±0.1mm。则M扫=±0.180[8]。
土地信息系统的数据库建立后,其中已经包含了数据源和数据库建库所引入的误差。数据库中的多源数据,经过系统的各种分析处理后,在形成新的数据和最后产品的过程中还会产生新的数据质量问题。这些问题包括:几何改正,坐标变换和比例变换,几何数据的编辑、属性数据的编辑、空间分析,数据格式的转换等。
1、空间分析
空间分析是对分析空间数据的技术的通称。从客观上区分,可归纳为:空间的图形数据的拓扑运算;非空间属性数据的运算;空间和非空间属性的联合运算等[9]。空间分析赖以进行的基础是空间数据库,土地信息系统的空间数据分析,是实现土地资源信息系统的实际运用的重点途径。
空间分析中的叠加分析是土地信息系统中十分常用的一种分析方法,是用户经常用以提取数据的手段之一。通过同一地区不同内容的多幅地图的叠加组合,产生新的图形和属性信息。在这个过程中往往产生拓扑匹配、位置和属性方面的数据质量问题。由于叠加时多边形的边界可能不完全重合,从而产生若干无意义多边形。对这些无意义多边形进行处理的结果往往会改变界线的位置,叠加后形成的新的多边形的属性值也可能存在由于属性组合带来的误差。
2、坐标变换
土地信息系统数据来源较多,各种数据输入信息系统应便于系统对数据进行图形显示,叠加查询,统计分析处理。LIS要实现这些功能,一个首要和基本的前提就是各种不同来源的数据在系统内必须在一致的地形图坐标系下。但是,在实际的数据采集过程中,大量的数据坐标并不一定属于系统用户所要求的坐标系,原始数据为一种坐标系,系统要求的数据为另一种地图坐标系,有的数据坐标根本没有地理意义,对此情况,必须提供从一种地图坐标系到另一中坐标系的坐标变换。
在具体的操作过程中,有可能产生新的误差。在不同比例尺下对坐标数据的重新设立产生误差,进行投影变换和/或基准面变换时产生的误差。生产实践中为提高数据质量,确保系统的数据精度和可靠性,通常用仿射变换和相似变换等模型来进行数据处理,以减小或消除误差。
坐标变换的实质是建立两个平面点之间的一一对应关系,现有一般GIS(LIS是GIS的专题)软件大都提供了以下两种模型实现坐标变换。
一是仿射变换:仿射变换也称六参数变换,其变换公式为:[10]
x´=Ax+By+C(Ⅰ)
y´=Dx+Ey+F(Ⅱ)
其中,x´、y´为地图输出坐标系中的坐标点对;x、y为输入坐标中的坐标点时;A,B,C,D,E,F为方程参数。参数在坐标系空间上的几何意义为:A和A分别确定点(x,y)在输出坐标中x方面和y方向上的缩放尺度。B和D确定旋转角度,C和F分别确定在x方向和y方向上的水平移尺寸。
二是相似变换:当式(Ⅰ)、(Ⅱ)中的参数满足条件A=E=Scos@,B=-D=Ssin@时,则得到四参数的相似变换公式:
x´=Ax+By+B (Ⅲ)
y´=-Bx+Ay+D (Ⅳ)
式中,x´、y´为输出地图坐标系中的坐标点对;x、y为输入地图坐标中的坐标点对;A、B、C、D为方程参数,相似变换实质上也是坐标系间的平移,旋转和缩放尺度的变换,式中C和D分别为坐标在x轴和y轴上的平移大小, 为缩放比例,@=arctg(B/A)为旋转角度。
为了求出以上公式中的参数,建立两种坐标之间的仿射(或相似)转换关系,至少需要三个(或两个)已知的控制点坐标。而实际上,应选择多于三个(或两个)控制点,方能按照最小二乘法原理进行平差,得出系数值,代入上述方程即建立输入和输出坐标系之间的仿射(或相似)变换数学模型。
可以看出,仿射变换和相似变换都为线性函数变换模型,可实现对原图形的平移、旋转和缩放,相比较而言,相似变换不能进行x轴、y轴不均匀缩放的变换,而仿射变换能保证更高的数据精度。
3、数据变换
(1)CAD向GIS的转换
目前我国土地管理中存在一个较为普遍的问题是土地信息系统的构建与图形数据采集较少作用一个整体来通盘考虑,地籍测绘大大超前于信息管理系统构建。中小城市这种问题表现得更为突出。为满足土地确权发证,土地定级估价等需要,1995年前测绘的地籍图等图件因受技术条件的限制绝大部分是采用传统白纸测图方法完成的。随着计算机技术的发展和在测绘工作中的普及应用,1995年之后数字地图逐渐取代传统测绘。但一个不容忽视的事实是,绝大多数测绘图软件是在AUTOCAD上进行二次开发完成的。有些甚至是采用低版本的CAD,有些测绘图软件虽然测的是数字图,但只有非编码的图形文件,不保留信息,或者图形编辑以后,返不成信息。这种数字图说到底仅仅是从传统的白纸图过渡到计算机驱动绘制的白纸图。本质上与传统测绘没有什么区别。有些虽然采用了较高版本的CAD基础软件二次开发成数字测图软件并采用了数字编码技术,但由于较少考虑CAD与GIS的数据共享问题(土地信息系统属于专题GIS)。在着手考虑构建土地信息系统时,遇到的突出问题则是如何充分,有效利用已有数字信息资料,并确保数据转换质量。
对于传统模拟图或难以返成信息的所谓数字图只能采用原图数字化,形成数字信息后方可加以利用,但其精度丢失是不可避免的。
对于采用了编码技术,也能返成信息的数字图,其数字信息可以通过数据转换来实现数据共享,但由于 CAD与GIS图形数据之间其数据格式,数据内容甚至数据概念都有很大差异,数据转换时应注意以下三个方面:[11]①数据格式转换。不同的软件有不同的数据格式,有些可以通过通用数据格式如DXF实现转换,但转换过程中的数据丢失也的确令人烦恼。②数据元素转换。CAD与GIS两者之间的图形元素不是一一对应关系,CAD图形中的图形元素种类要比GIS图形文件中的图形元素种类多,GIS中只有点、线、面三类基本图形元素,而CAD中包括有点、线、面、注记、矩形等多种图形元素,在具体转换中,CAD的图形元素哪些转换成GIS的点,哪些元素转换面面,什么元素需要转换成GIS的属性数据,什么元素则不需要转换到GIS中去等。CAD与GIS图形元素之间的对应关系,都需要认真细致地加以技术处理,使空间数据和属性数据在输入系统后正确地连接起来。③拓扑关系的形成。因为CAD的图形元素之间没有拓扑关系,实现CAD向GIS数据转换的一个重要内容就是要将转换后的图形数据按照一定的技术要求经过编辑,在GIS环境下建立几何元素的拓扑关系。
在实际转换中,还会出现许多意想不到的技术问题,会影响数据转换质量,有待进一步解决。
(2)矢量数据结构向栅格数据结构的转换
土地信息系统的建设中,许多数据如行政边界,交通干线,土地利用类型、土壤类型等都是用矢量数字化的方法输入计算机或以矢量的方式存在计算机中,表现为点、线、多边形数据。然而,矢量数据直接用于多种数据的复合分析等处理将比较复杂,特别是不同数据要在位置上一一配准,寻找交点并进行分析。相比之下利用栅格数据模式进行处理则容易得多。加之土地覆盖的叠置复合分析更需要把其从矢量数据的形式转变为栅格数据的形式。
矢量数据的基本坐标是直角坐标(x,y),其坐标原点一般取图的左下角。网格数据的基本坐标是行和列(i,j),其坐标原点一般取图的左上角。两种数据变换时,令直角坐标x和y分别与行与列平行。由于矢量数据的基本要素是点、线、面,因而只要实现点、线、面的转换,各种线划图形的变换问题基本上都可以解决[12]。
矢量数据变成栅格数据的原理与方法并不困难,但由于矢量数据的记录方式各不相同,也会产生一些问题。如多边形之间公共边原来只有一条交界线,转变成网格后成为有一定宽度的界线,产生了一定的近似性。特别是几条线交叉处,一个网格元素中包括了相邻的几种类别,转换时只能用其中的一种类别作为交叉点所在的元素的类别,这种误差应在允许的范围以内。而减小网格尺寸,虽提高了精度,但大大提高了数据的冗余量。
栅格数据结构需要大量的计算机内存来存贮和处理数据,才能达到与矢量数据结构相同的空间分辨率,而矢量结构在某些特定形式的处理中,如象多边形叠置,空间均值处理等尚有大量的技术问题来解决。值得注意的是,无论采用哪种转换方法,转换的结果都会不同程度地引起原始信息的损失。
4、空间数据的编辑
通过矢量数字化或扫描数字化所获取的原始空间数据,都不能避免地存在错误或误差。属性数据在建库时,也难免会存在错误。诸如:空间数据的不完整或重复,空间点、线、面数据的丢失或重复,区域中心点的遗漏,栅格数据矢量化时引起的断线等,空间数据位置的不准确、线段过长或过短,线段的断裂、相邻多边形结点的不重合及空间数据的变形等。因此,必须对图形数据和属性数据进行一定的编辑。
土地信息系统数据编辑是消耗时间的交互处理工作,对空间数据不完整或位置的误差,主要是利用LIS图形编辑功能,如删除(目标、属性、坐标),修改(平移、拷贝、连接、分裂、合并、装饰)、插入等进行处理。对空间数据比例尺的不准确和变形,可以通过比例尺变换和纠正来处理。
在数据的编辑过程中,由可能产生一些新的问题。如:线段的相关与延伸出现的问题,图形的平移与旋转出现的问题,删除“细部多边形”时产生的误差,数值计算与变化的误差;文件的合并以及形成新文件的问题;属性数据的重新定义和更新的问题。有的问题时可能避免的,有的问题则无法避免。因此,必须进行检核。通过耐心细致的检查,主要误差都能从数据中寻找出来,并有效消除误差。一般采用叠合比较法,目视检查法和逻辑法。
叠合比较法是空间数字化正确与否的最佳检核方法,按与原图相同的比例尺把数字化的内容绘在透明材料上,此后与原图叠合在一起,在透光桌上仔细的观察和比较。一般。对于空间数据的比例尺不准确和空间数据的变形马上就可以观察出来,对于空间数据的位置不完整和不准确则须把遗漏、位置错误的地方明显地标注出来。目视检查指在屏幕上用目视检查的方法,检查一些明显的数字化误差与错误,包括线段过长或过短,多边形的重叠和裂口、线段的断裂等。
5、由计算机引起的问题
在计算机中,数据是由一定字长的编辑数码表示的,由计算机字长可能引起一种误差。这种误差出现在各种数值运算和模型分析中,由这种误差引起的问题很多[13],例如LIS空间数据库中整数编码对面积和周长计算的影响,比例尺变换和旋转变换对拓扑关系的影响等。削弱误差影响的主要方法有:改变数据在计算机中的表示方式,采用合适的算法等。
除了数据处理精度外,数据存储精度也与计算机字长有关。16位的计算机在存储低分辨率的栅格图像时不会出现问题,但存储高精度的控制点坐标或点位精度要求高的地理数据时,则不能胜任。
土地信息数据在使用过程中往往出现一些质量问题,这些问题包括数据的完备程度,时间的有效性,拓扑关系的正确等。
1、数据的完备程度
数据的完备程度指地理数据在范围、内容、及结构方面满足所有要求的完整程度。包括数据范围、空间实体类型、空间关系分类、属性特征分类等方面的完整性。
一般来说,空间范围越大,数据的完整性就越差。在土地信息系统的建库过程中,数据不完整最简单的例子是缺少数据。如计算机从GPS接收机传输位置数据时,由于软件受干扰或其它因素的缘故,只记录下经度而丢失纬度,以至造成数据不完整。另外由于GPS接收机无法收到四颗或更多的卫星信号而无法计算高程数据也会造成数据的不完整。又如某个应用项目需要1:5000的基础底图,但现在的地图数据只覆盖项目区的一部分,底图数据便不完整。
在土地信息系统底建库中,涉及大量的地籍档案。地籍档案来源于土管机关的地籍部门,数量大、形式多、浩繁、零乱,随着时间地推移,以及人为和自然的各种因素地影响,有可能遭到损坏。如档案老化,书写材料低劣、地籍档案变到污染,变色、虫蛀等现象,进而影响到整个系统的质量。
2、数据的现势性
数据的现势指数据反映客观现象目前状况的程度。数据的现势差,反映的客观现象就可能不准确。不同现象的变化频率是不同的。如地形的变化一般来说比人类建设要缓慢,地形可能会由于山崩、雪崩、泥石流、人工挖掘及填海等原因而在局部区域改变。但由于地图制作周期较长,局部的变化往往不能及时地反映在地形图上,对那些变化较快的地区,地形图就失去了现势性。城市地区土地覆盖变化较快,这类地区土地覆盖图的现势性就比发展较慢的农村地区会差些。地形图上记录着所用航空像片获得的年代。若又用其他数据进行过修改(一般是较新的航空像片),也应记录于上。
在土地信息系统建库中,要求地籍信息和地籍图必须具有现势性。地籍信息变更比较频繁,如土地利用类型,权属或宗地的重划,合并等。由于受自然因素和人为作用的影响,土地资源的数量、质量、分布和使用情况都处在经常变化之中。基于这一特点,土地管理部门提供的数据很难保证现势性,这也是影响数据质量的一个重要方面。
3、拓扑关系
在LIS中,为了真实地反映地理实体,不仅要包括实体的位置、形状、大小和属性,还包括必须反映实体之间的相互关系,这些关系就是指它们之间的邻接关系,关联关系和包含关系,拓扑关系。拓扑关系的核心是建立点、线、面的关联关系。通常有以下几种空间关系:点-点关系、点-线关系、点-面关系、线-线关系、线-面关系、面-面关系。空间数据的拓扑关系,对数据处理和空间分析具有非常重要的意义[14]。
利用拓扑关系,可以确定一种空间实体相对于另一种空间实体的位置关系。利用拓扑关系,可以确定某县有多少耕地,分析土地利用类型及对土地适宜性做出评价等。
在拓扑关系的建立中,拓扑过程中伴随有数据所表达的空间特征的位置坐标的变化,拓扑关系的不正确等情况,导致空间分析的结果错误,给土地管理决策带来一定的影响。
数据是LIS最基本和最重要的组成部分,同时也是一个LIS项目中投资比重最大的一个部分。数据质量的好坏,会直接影响到LIS的系统功能和应用质量问题的三个方面(数据源的质量问题、数据处理质量问题、数据应用质量问题)着手,对LIS的数据质量问题进行了一定的归纳总结和初步的探讨。众所周知,LIS的数据质量是影响LIS的一个瓶颈环节,LIS数据量大、数据种类多、数据结构复杂。因此,在LIS的建设过程中,如何在数据采集与建库中实施质量控制,保证数据质量对土地信息系统建设来说显得尤为关键。
毕业论文的撰写是一次再学习和锻炼的机会,是对所学知识的一个融会贯通的过程。通过毕业论文的撰写,我对所学的知识有了更深层次领悟和掌握,对自己所学的土地管理专业有了一个整体认识。毕业论文不仅是对所学知识的总结,也是运用所学知识探求新知的方法、手段。既是一次再学习的过程,也是一次深入学习的机会。同时,毕业论文写作,为今后的学习工作奠定了一定的基础。通过毕业论文的写作,我真正懂得理论联系实际的重要性。在撰写毕业论文中,我运用所掌握的基本知识、方法和技能,研究探讨了土地信息系统建立过程中数据质量的有关问题。通过毕业论文的撰写,我进一步完善了自己的知识结构,学习了更多的知识。不仅如此,我对土地信息系统数据质量控制措施与方法方面有了更进一步的认识。
通过毕业论文的写作,不仅强化了我的学习素质、研究素质和创业素质,而且培养了我的创新意识,激发了我探求新知的欲望。认真写作毕业论文,不仅能进一步巩固所学的理论知识,而且还能进一步提高自己的各项基本技能,实践能力和解决问题的能力。
在论文的写作过程中,玉文龙老师给予了很大的支持和帮助,为论文的写作提出了许多宝贵性的意见和建议;在他的指导下,这篇论文得以顺利完成。在资料的搜集过程中,图书馆工作人员为我们提供了很大帮助,本组同学也给予了很多支持,在此表示衷心感谢。
[1] 钱乐祥,余明全.土地信息系统的几个基本问题.测绘通报,1999(10).
[2] 张 超等.地理信息系统.北京:高等教育出版社,1995.
[3] 阎 正等.城市地理信息系统标准化指南.北京:科学出版社,1998.
[4] 范爱民,景海涛.地图数字化质量问题.测绘通报,2000(4).
[5] 严星,林增杰.地籍管理.北京:中国人民大学出版社,1999
[6]-[7]郝向阳等. 地图扫描数字化点位精度分析.测绘学报,1995,25(1).
[8] 毛 锋等.地理信息系统建库技术及应用.北京:科学出版社,1999.
[9] 汤国安,赵牡丹.地理信息系统. 北京:科学出版社,2000.
[10] 徐建刚.城市规划信息技术开发及应用.南京:南京大学出版社,2000.
[11] 司少先.地籍信息系统源数据质量问题探讨.测绘通报,1999(4).
[12] 边馥苓主编.GIS原理与方法.北京:测绘出版社,1996.
[13] 郭达志.地理信息系统基础与应用.北京:煤炭工业出版社,1997.
[14] 朱 光等.地理信息系统基本原理及应用. 北京:测绘出版社,1997.
浏览量:3
下载量:0
时间:
在贯彻党的十六届六中全会精神、努力构建社会主义和谐社会的新形势下,为进一步落实《国务院关于大力发展职业教育的决定》精神,以科学发展观为指导,促进高等职业教育健康发展,进一步落实《国务院关于大力发展职业教育的决定》精神,教育部于2006年发表了《关于全面提高高等职业教育教学质量的若干意见》,可见教育部对于高等教育的高度关注,以下是读文网小编今天为大家精心准备的:大数据时代下的高等职业教育质量保障的挑战与应对探究相关论文。内容仅供参考,欢迎阅读!
摘要:大数据具有规模性、高速性、多样性、价值性等的特点。大数据时代对中国高等职业教育质量保障体系建设带来了新的机遇与挑战。现行的高等职业教育质量保障体系存在面临理念、制度、保障标准和措施方面的挑战。在大数据时代下高等职业教育质量保障体系建设需要转变质量保障体系建设理念、构建适应大数据的多主体高职教育质量保障体系组织架构、建设适应大数据要求的高职质量保障体系的信息系统。
随着高等教育的发展,无论从学校数量还是在校生规模和市场需求方面看,中国高职教育在高等教育体系中占据半壁江山,对社会经济的发展意义重大。2014年5月《国务院关于加快发展现代职业教育的决定》中提到,到2020年形成具有中国特色、世界水平的现代职业教育体系;2014年6月国家发布的《现代职业教育体系建设规划(2014-2020年)》对高职教育提出了具体的目标与要求,提到:“完善校企合作、工学结合的人才培养体系。健全职业教育质量评价制度。以学习者的职业道德、技术技能水平和就业质量为核心,建立职业教育质量评价体系。职业院校要建立内部质量评价制度,强化质量保障体系建设。”如何落实《建设规划》的要求,尽快构建起适合中国特色和时代需求的高职教育质量保障体系,对高等职业教育的发展无疑具有重要意义。
“大数据”(Big Data)一词已经成为当前各界运用最多的词语最多之一。大数据、移动互联网、智能化制造共称为信息领域三大颠覆性技术。“大数据”时代的到来,对高职教育质量保障体系提出了全新的挑战,要求我们构建适应大数据特征的教育质量保障体系。那么,我们应该如何适应大数据的时代特征构建高职教育质量保障体系?高职教育质量保障建设中如何借助前沿技术的发展使得质量保障实现从宏观群体走向微观群体提供可能?本文试图以大数据背景为前提探讨高职教育质量保障体系建设的应对。
大数据(Big Data),又称之为巨量资料。根据Gartner研究机构的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有规模性、高速性、多样性、价值性等特征。大数据时代的到来给人们带来了更加方便和快捷的运用和传播各种信息方式。在高职教育质量保障的理念、制度、措施和教育培养、教育教学和就业等环节,大数据带来了极大的便利,与此同时也带来了高职教育质量保障的挑战。
在当今高职教育质量保障的理念和制度上,还是以传统的保障方式为主形成保障体系,新的适应信息社会的质量保障题没有完全建立起来。信息社会下的高职质量保障应该以常态监控为手段、以学生发展为本和教育过程的信息公开为质量保障的理念,建立教育质量过程监控和状态数据监控的保障制度,大数据的特征正好为高职教育质量保障的质量理念和制度成为可能,大数据时代为高职质量保障建设提供了可能,这使高职教育质量保障体系建设中面临机遇与挑战。
2大数据时代高职教育质量保障体系面临的挑战
在质量保障的过程中形成的各要素及其相互关系即为质量保障体系。高等职业教育属于高等教育的组成部分,因此,其质量保障内涵同此。
在大数据时代,人才培养模式、教学范式、教学内容和手段、知识交流及处理机制都将发生相应的改变,这将直接影响着高职教育质量的发展。而我国现行的高职质量保障体系延续着计划经济时代的保障体系机制,呈现出跟大数据时代不相适应的问题。
2.1 基于大数据时代要求的质量保障价值理念缺失
近年来,随着高等教育的扩招,高职院校规模增长迅速,规模的扩大,需要在高职教育的各个环节加强信息和数据建设,以保证教育质量,大数据使之成为可能。由于受计划经济时代的影响,质量保障的价值理念呈现与大数据要求不相适应的问题。主要表现为质量保障主体还是以政府为主,学生参与质量保障有限,没有体现以学生为本的理念;保障方式主要以政府主导的外部评估为主,注重条件下指标建设,对内部保障措施建设明显不足;信息公开不够,一些培养机构对教育过程的一些核心数据公开不够,如教师数量及结构、生师比、学生学习满意度(调查方法与结果)、用人单位对毕业生满意度(调查方法与结果)等;以现代信息技术手段和方法对高职教育质量进行监测和反馈的机制建设存在不足,保障制度与措施与规模不匹配等。已经不适应当今的高职教育质量保障建设,无论是从学校的硬件设施还是双师型队伍建设。
2.2 质量保障主体单一不适应大数据时代要求
现行的高职教育质量保障主体是以政府为主,高职院校的众多利益相关者并没有参与到质量保障过程之中,学校在质量保障中的主体地位缺失,行业企业的参与度不高,学生和家长基本没有参与到质量保障中来,导致了质量保障主体单一。这样使得得在保障方式上主要是以政府为主导,教育行政部门是绝对的权威,各个高职院校都是在国家统一的质量标准下,从学科设置、招生指标的下达、培养经费等都统一调配,学校基本上都是被动接受政府组织的相关的教育评估,学校质量保障体系方面的作用十分有限。另外,高职教育还没有形成一个合理的第三方质量保障机构。企业、第三方机构和师生在质量保障过程中参与极少,发挥的影响也极为有限。特别是高职教育中的师生只有被参与的地位,这样常常会导致高职教育质量保障过程中的失灵情况出现,导致高职教育质量保障的低效率。
教育质量评估由教育行政部门选派专家到学校进行评估考核,他们在规定的几天时间通过对学校实地走访,对少部分教师和学生进行访谈,听少部分教师课堂教学和看文件资料等方法获取的信息对学校的教育教学质量做出评价结果,确定学校的质量水平,这样的质量保障是片面的,因为其他的质量保障主体没有参与其中,评价的结果有失公允,这跟大数据和高等教育改革发展要求是不相符合的。 [4]大数据时代的质量保障主体要求是政府、学校、学生、家长、用人单位和社会公等利益相关者。政府在责任更多是加强宏观政策调控、经费投入和信息建设等,质量保障的主体应该是多元的,尤其是师生都应该参与其中。
2.3 适应大数据要求的质量保障信息系统没有建立起来
大数据时代的到来,给我们的信息系统的建立带来机遇和可能。由于历史的和现实的因素,我国的高等教育信息系统远远跟不上目前的信息化的发展,适应大数据时代要求的包括高等学校的办学的基本数据和反映学校动态发展的各种信息系统正在建设之中。涵盖学校的各种数据资料的大大部分信息没有公开,比如学校的办学经费、硬件设施基本情况、生均拨款等。学生对学校的评价系统、家长和社会公众对学校的评价系统、用人单位对毕业生的反馈等系统等尚未建立起来,学生、家长、企业和社会公众无法丢学校的质量进行科学的评价,也就是说,其实现在的高职院校的信息系统还是一个相对封闭的系统,导致信息不对称,无法对学校的质量进行保障。这就要求高职教育在进行质量保障时候必须加强信息系统的建设,直接导致高职教育质量保障的合理性缺失和低效率。
2.4 质量标准不科学
质量标准评价高职教育质量高低的重要方式手段。现行的对高职教育的质量评估的标准主要是以教育部颁发的《高职高专院校人才培养工作水平评估方案(试行)》、《高职高专院校人才培养工作水平评估工作指南(试行)》、《高职高专院校人才培养工作水平评估专家组工作细则(试行)》等文件为指导,各地区可以进行具体的标准。这样一来,导致了高等职业教育的质量标准不不科学:第一是质量标准不完整、不系统。目前国家有院校设置标准,但缺少专业、课程、师资、实习实训等直接影响教育质量的标准;第二,质量标准单一,没有根据不同地区和不同类型的高职院校设计不同的质量保障指标体系等。
大数据时代的来临将会对教育理念进行革新,包括教育教学的方式、质量提升和质量保障都提出新的要求。高职教育作为培养社会经济所需技能型人才的重要基地,要正视大数据时代的到来,在质量保障体系建设过程中进行反思,从保障理念、保障措施和信息平台建设等方面与时俱进。
3.1 转变质量保障体系建设理念,树立适应大数据时代发展的质量保障理念
大数据对教育的方方面面产生深刻的影响。在国外的高校教育教学及管理中,通过对教育数据的深度挖掘为教学质量的提高和教学管理水平的提升服务已经成为了一种主要方式,且这种方式正在往深处发展。对学生而言,大数据对学生的学习状况进行精确度的预测与评价已经成为可能,这种趋势加深了老师跟学生之间、学生跟学校之间、社会跟学校之间以及学校跟政府的相互了解。美国的学校能够通过对学生数据的分析,以85%的精确度预测学生的升学率。
中国当前正处于社会转型期,大数据为中国教育的教学方式与学习方式、教学评价和教学质量的监控的确定将发挥积极作用,教育质量保障将发生革命性的变化。“大数据”使单独进行过程性评估变为可能。进而言之,学生在学习和研究过程的具体表现都可以形成数据,将这些数据进行分类、整理统计和分析就形成对高职的学习研究的质量评估方式。对于学校的办学、教师的教学和科研考核的过程同样实现类似的方式进行。2013年经济合作与发展组织(OECD)在《为促进更好学习:评价与评估的国际视角》的报告中提出了“增强评估以促进学生学习”的新思想,评估中使评价与教育目标保持一致、将学生置于核心、评价的重点应放在改进课堂实践的过程性评价设想。
在此背景下,我们应该转变高职教育质量保障体系建设的理念,在质量保障体系建设中,用先进的保障理念引领数据管理平台建设,高职院校要把数据管理平台作为学校管理的重要手段和途径,以管理平台建设为契机,狠抓专业建设、专兼结合的教学团队建设、教学质量保障体系建设,不断完善管理制度,强化管理结构,全面提高人才培养质量和实现管理模式创新,以构建跟大数据相适应的质量保障体系为宗旨。
3.2 构建适应大数据的多主体高职教育质量保障体系组织架构
高职院校的主体主要包括高职院校、学生、家长、用人单位、 政府教育管理部门、 政府人力资源管理部门,还有相对独立的社会专业教育评估机构等。[4]各个利益主体对质量的诉求存在差异,首先需要我建构组织架构,以适应大数据对高职教育的质量保障需要。在此过程中,应该依靠移动互联网、物联网等大数据系统,构建成相互促进、信息互通、共同发展、运行有效的保障体系。
高职教育质量保障体系组织架构由高职教育的七大主体以高等教育质量保障信息系统为平台搭建。七大质量保障主体分别是高职院校、政府教育部门、政府人力资源保障部门、学生、家长、用人单位、第三方保障机构,高职院校对学校的教育教学质量进行监控和管理,对人才培养目标的实现进行定期评估;学生主要对学校的教育教学活动和对学校的满意度做出评价,以督促学校不断加强质量改进;家长对学校质量的评价可以为后续的考生选择学校和提升质量提供依据;政府教育部门主要对学校的办学条件进行监控与宏观调控,根据其他利益相关者的评价决定学校的拨款;政府人力资源保障部门主要进行人力资源的信息管理,主要是用人单位的基本情况,为毕业生提供客观真实的信息,这些信息可以通过大数据来实现;第三方质量保障机构主要是根据质量保障标准,利用大数据平台对质量保障各环节的信息进行提取,通过系统的计算、分析和对比,对学校教育质量实施评估,做出教育质量报告。[5]为政府和学校的质量改进提供依据。
3.3 建设适应大数据要求的高职质量保障体系的信息系统
在致2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会的贺信中说道:大数据与云计算、物联网等新技术相结合,正在迅疾并将日益深刻地改变人们生产生活方式。中国正在研究制定“互联网+”行动计划,推动各行各业依托大数据创新商业模式,实现融合发展,推动提升政府科学决策和管理水平,用新的思路和工具解决交通、医疗、教育等公共问题。在高职质量保障体系建设中,大数据大有可为,我们可以借助大数据、互联网等信息技术实现高职质量保障的信息平台。我们可以搭建一个全国性的基于多主体的“高职质量保障信息平台”。在这个平台上,各类质量保障信息都面向公众开放,不同的质量保障主体根据各类质量信息可以监控高职教育的质量过程并对质量作出评估。政府对信息平台负有监管的职责,确保信息数据的真实可靠。
根据教育部统计数据,2013年全国共有普通高职(高专)院校1321所,为了便于质量监控和保证,教育部在其门户网站建设了高等职业教育质量年度报告和人才培养状态数据库,对各个省市的高职教育发布了年度质量报告,在年度报告中各个省市对其质量发展基本状况进行了公开,从报告中可以看到,报告的内容大致是从概况、学生情况、教育教学改革、政府举措和问题与展望几个部分。
通过这个数据信息平台,我们可以查询到2012到2015年的高职院校质量发展现状,但是,我们也可以发现,目前的这个信息建设,更多是从宏观层面对质量进行的信息发布,涉及到具体的高职院校的基本信息不具体,学生评价、家长评价和用人单位对培养机构的评价是缺失的,对于诸如在线教学资料的开放尤为缺乏,跟目前的教育技术发展水平严重不适应。如慕课、翻转课堂、同伴教学法在教学中的应用实例等跟质量密切相关的信息在目前的高职教育质量保障信息平台建设中没有得到应有的重视。凭借大数据建设教育质量保障信息平台,实现对各学校的办学设施、师生比、教师基本情况、校园文化等基本信息,教学资料和教学改革信息建设,学生、教师和用人单位及公众的评价信息等的建设和监控保障。
对于大数据时代下高等职业教育质量保障体系的构建,需要在大数据带来的机遇背景下,认识到现行的高等职业教育质量保障体系存在的保障理念不适应时代要求、保障主体单一、质量保障体系的信息系统缺失等问题的基础上进行建构;需要树立适应大数据时代发展的质量保障理念、构建适应大数据的多主体高职教育质量保障体系组织架构、建设适应大数据要求的高职质量保障体系的信息系统。
相关
浏览量:4
下载量:0
时间:
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。以下是读文网小编为大家精心准备的:数据分析在混凝土配合比设计中的应用探究相关论文。内容仅供参考,欢迎阅读!
混凝土是全世界范围应用最为广泛的建筑材料。在混凝土诞生的一百多年中,无数科研工作者、工程实践者付诸大量的心血探索混凝土的奥秘。但是由于混凝土是一种从细观到宏观都是高度非均质的多项复杂体系,在科学实践中存在众多问题。
混凝土配合比设计的研究对于混凝土生产企业优化工艺、降低成本有着重要意义,为此全世界范围内的学者都给出过不同的研究方法。但是现行的配合比设计方法仍存在较多问题亟待解决。究其原因主要是有关混凝土材料的基础理论性研究不足,导致现行的众多的配合比设计方法均不能以材料科学: 组成、结构与性能的科学方法来阐述混凝土的内在问题。
我们可以对国内外几种配合比设计方法进行简单的评价: 美国ACI 方法: 其优点在于简单易行,通过查表即可得出配合比,但是各个参数的选择理论依据不强,对于材料性状变化的敏感性差,是经验性配合比设计方法最为典型的案例。而英国BRE 方法,相比美国ACI 方法参数选择相似,但是其选择依据考虑的因素更多,缺点也比较明显,仍是图表选择的形式,可能导致普适性较差。法国Dreux 方法的优点在于各个参数考虑细致。但是,Dreux 级配曲线可能有一定局限性。法国( de. larrad) 则在理论上更胜一筹,以物理模型和数学模型建立的设计方法。而我国现行的配合比设计方法更注重的是经验性设计。应该注意到,这样的配合比设计方法理论基础相对薄弱,经验性选择居多,并且计算结果偏差很大。具体表现在,强度公式引起的误差波动,其次用水量与砂率的选择依据也并不充分。
近年来,随着“人工神经网络”等数据分析方法研究的兴起,越来越多的人开始尝试用数据挖掘与分析的方法来进行混凝土配合比的设计与优化。比如人工神经网络方法就具有非线性处理能力强、不需要明确的函数关系式等特点。一个三层BP 神经网络可以以任意精度近似任何连续函数。甚至有研究指出采用人工神经网络技术进行混凝土配合比设计,具有适应性强、准确有效的优点,是进行多组分混凝土配合比设计的一种切实可行的方法。
本文针对混凝土配合比设计的研究工作已经取得的进展,阐明混凝土配合比设计所存在的问题,分析并讨论数据分析在混凝土配合比设计中的地位与意义,为混凝土配合比设计的进一步研究与工程实践提供一定的参考价值。
1. 1. 1 人工神经网络技术简介通常意义上的BP人工神经网络是以输入单元为自变量、输出单元为因变量、网络单元间的连接权值为调整参量,按最小误差原则逐步反馈修正而使网络达到最佳模拟状态的一种数学算法,即误差反传误差反向传播算法的学习过程,由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息,并传递给中间层各神经元; 中间层是内部信息处理层,负责信息变换,根据信息变化能力的需求,中间层可以设计为单隐层或者多隐层结构; 最后一个隐层传递到输出层各神经元的信息,经进一步处理后,完成一次学习的正向传播处理过程,由输出层向外界输出信息处理结果。
当实际输出与期望输出不符时,进入误差的反向传播阶段。误差通过输出层,按误差梯度下降的方式修正各层权值,向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程,是各层权值不断调整的过程,也是神经网络学习训练的过程,此过程一直进行到网络输出的误差减少到可以接受的程度,或者预先设定的学习次数为止。
1. 1. 2 在混凝土配合比设计中的应用人工神经网络的特点是非线性处理能力强、不需要明确的函数关系式等,正是因为这些优点,人工神经网络技术慢慢渗透到了各行各业当中且有着非常广泛的应用。理论上讲,一般的三层BP 神经网络可以以任意精度近似任何连续函数。有科学研究指出,采用人工神经网络技术进行混凝土配合比设计,具有适应性强、准确有效的优点,是进行多组分混凝土配合比设计的一种切实可行的方法。刘国华等人曾以BP 网络表达的混凝土性能——配合比关系作为约束条件,以成本函数作为目标条件,采用Monte - Carlo 随机试验法建立直接优化设计模型,并对网络输入输出单元的选择和预测结果稳定性进行较深入的探讨,最终开发出了实用软件。
1. 1. 3 应用实例
用BP 人工神经网络技术建立一个混凝土配合比设计的预测模型,首先必须能够让输入单元反映出影响混凝土最终性能的各个因素,且输出单元要包括所设计混凝土的各项性能指标。因此输入单元主要包括各种原材料的用量和混凝土制作工艺,主要有以下几种: 胶凝材料水泥的品种、强度、初终凝时间; 砂的用量与细度模数; 石子的用量、颗粒级配和最大、最小粒径;矿物掺合料如膨润土、粘土、粉煤灰、矿渣、矿粉等的用量; 用水量; 外加剂( 主要指减水剂用量及其减水率) 。对于混凝土的制作工艺,主要是指其拌合方式,因为不同的拌合方式成本不同,得到的混凝土性能也有差异。而输出单元主要包括混凝土强度、流动度与和易性,其他各项性能因一般情况暂不要求顾不做考虑。
为了提高模型在实际运算中的效率,可根据不同要求对输入输出单元做适当取舍。将输入单元中原材料的影响分为用量与质量指标两类。对于原材料的用量,由于在具体工程中某些材料如矿物掺合料等不会被采用,因此可以忽略; 质量指标往往对于同一工程而言,同产地原材料性能变化不大,在计算中可视为常值不予考虑。如果样本中原材料种类过多,包含了预设输入单元以外的原材料,则视作无效样本,不予采用; 但当样本中原材料种类少于网络单元中原材料的种类时,此类样本中未使用的原材料用量可以以0 代替。当然,如果试验得到的混凝土性能种类少于网络输出单元的性能种类,则视为无效样本。
1. 2. 1 模糊聚类分析简介模糊聚类分析是用数学方法研究和处理所要研究对象的分类问题,即用数学定量地确定分析对象之间在性质、特征等方面的亲疏关系和相似性,从而实现对事物客观地分型划类的数学方法。它是一种非常有效的分类手段,广泛地应用于天气预报、地震预测、地质勘探、环境保护以及图像语言识别等领域之中; 但是模糊集合论不同于普通的集合论,它是一种全新的理论,因而理解起来需要作一下思维的变换。而聚类分析是数理统计中的一种多元分析方法,它是用数学方法定量地确定样本的亲疏关系,从而客观地进行类型的划分。在客观世界中,事物之间的界限有确切的亦有模糊的。
当分类要求涉及事物之间的模糊界限时,需运用模糊聚类分析方法。通常把被聚类的事物称为样本,将被聚类的一组事物称为样本集。模糊聚类分析有两种基本方法: 系统聚类法和逐步聚类法。聚类分析是用数学方法研究和处理所要研究对象的分类问题,即用数学定量地确定分析对象之间在性质、特征等方面的亲疏关系和相似性,从而实现对事物客观地分型划类的数学方法。用模糊聚类分析事物更加的灵活,客观和计算简便。
1. 2. 2 在混凝土配合比设计中的应用模糊聚类分析在混凝土配合比设计中的应用主要是采用基于模糊等价关系的动态聚类法,其计算过程主要是样本与聚类指标的选择、数据标准化、计算模糊相似关系、确定模糊等价关系和聚类,模糊聚类分析的结论并不表征对象绝对属于某一类,而是以清晰的阈值表征对象在一定程度上相对属于某一类。模糊聚类分析与BP 人工神经网络结合进行预测比单纯的模糊预测精度要高,所需的训练次数要少,而且预测效果要好。这是因为通过模糊聚类分析可以预先将各个模式分成若干类别,而如果单纯地通过隶属度进行预测计算则无法充分利用各个模式间存在的相容相斥关系,这样将会导致可利用的信息不完整。
相反。如果能够很好地配合BP 人工神经网络的信息处理机制,则可以充分增强神经网络的分类能力。除此之外,还可以使各个模式间的相容相斥信息得以利用,预测精度会相应提高。模糊聚类由于可以从量上把握研究体系中的复杂和模糊不确定的关系,因此在混凝土配合比设计中应用模糊聚类方法可以解决那些往往无法定量讨论的问题。模糊聚类还可以通过对混凝土配合比基础理论的修正,来侧面优化通过人工神经网络建立的混凝土配合比设计系统。周双喜曾以钢渣粉、粉煤灰、矿渣粉、烧黏土等作为试验对象,把掺加不同掺合料胶砂的3d与28d 抗压、抗折强度作为样品的指标,通过模糊聚类分析了掺合料的活性,并由此避免了凭经验选择所带来的主观片面性。
李敏等人采用抗压强度损伤系数、外观损伤系数和耐久度损伤系数为一级评价指标,以爆裂度、裂缝宽度为二级指标,确定了评价因子的权重,建立了评价计算模型,实现了无损伤快速的对高强混凝土受火后的综合评价。田华等人指出通过选取两类指标: 最简单直观的水灰比、矿物掺合料用量、砂率、水泥强度、混凝土外加剂用量和骨料最大粒径或者体现混凝土强度、工作性、耐久性和经济性的抗压强度、坍落度、抗渗性和原材料,将模糊聚类分析法用于混凝土质量控制中可改进传统混凝土质量评定结果的不客观性。赵运德等人以人力、机械、材料、方法和环境为指标采用模糊聚类分析法,建立了一种快捷方便的混凝土质量评估模型,可预测混凝土质量评价中的影响因素,以确保工程质量的合格。
1. 3. 1 灰色关联分析简介灰色关联分析方法是根据各个因素之间发展趋势的相似相异程度( 灰色关联度) 作为衡量因素间关联程度的一种方法。灰色关联分析的基本原理是考察各行因素之间微观或宏观的几何接近,以分析和确定各因素之间的影响程度或若干个子因素对主因素的贡献程度。灰色系统理论实际上提出了对各子系统进行灰色关联分析的概念,该理论企图通过一定的方法来寻求系统中各子系统( 或因素) 之间的数值关系。也正因为此,灰色关联度分析对于任意一个系统的发展变化态势都提供了数量化的度量。关联度是针对于两个系统之间的因素中随时间或不同对象而变化的关联性大小的量度。在系统发展过程当中,若两个因素变化的趋势具有一致性( 同步变化程度高) ,则可以说二者关联程度大,因此可以得出在某个包含多种因素的系统中具体的某个因素是属于主要的、次要的还是影响比较小的。
1. 3. 2 在混凝土配合比设计中的应用
混凝土是一种可用于多种环境下的非均质材料,其性能受多种因素的影响,而应用灰色关联理论可以将混凝土多个影响因素的“影响力”进行量化、排序,不仅使人们在理论上更好的认识混凝土,而且有助于混凝土配合比设计方法在理论层面上的完善。冯庆革等人曾借助灰色关联理论计算出养护龄期为7、28d 的混凝土抗压和抗拉强度与10nm ~ 20nm 范围的孔关联度最大, 91d 时与大于400nm 的孔关联度最大。梁本亮的结论与按照单因素敏感性分析方法得出的结果一致,即应用灰色关联建立了氯离子浓度、水灰比、环境湿度和构件表面氯离子浓度与氯离子侵蚀寿命之间的关联度,得出混凝土结构氯离子侵蚀寿命影响因子敏感度中,以构件表面氯离子浓度为最高,其次是氯离子浓度和环境湿度,水灰比敏感度最低。
张永娟等人通过灰色关联理论分别分析了钢渣粉和矿粉颗粒与混凝土强度之间的关系,指出要想提高钢渣粉颗粒群的反应活性,应增加粒径为5μm ~ 30μm,尤其是粒径为5μm ~ 10μm 的颗粒含量,而矿渣粉则是0 ~20 μm范围内的颗粒对混凝土强度有积极作用。席峰等人通过分析聚苯乙烯泡沫混凝土的原材料用量与混凝土强度和密度的关联度,指出在密度不变的情况下,水灰比的改变和减水剂的使用对混凝土强度影响最大; 而在强度不变的情况下,砂石和EPS 的含量是影响密度的主要因素。
C. Y. Chang和他的团队曾将灰色关联和赋权技术结合起来确定了应用再生骨料生产混凝土的最佳参数。冯庆革等人通过灰色关联分析法计算出养护龄期为7、28d 的混凝土抗拉、抗压强度与10nm ~ 20nm 范围的孔关联度最大,91d时与大于400nm 的孔关联度最大。罗洵利用灰色关联法,分析了胶凝材料用量、水胶比、磨细矿渣掺量、硅灰掺量与混凝土坍落度和28d 强度的关联度,得出胶凝材料的用量对混凝土强度和流动性的影响最大的结论。袁晓露的团队还通过灰色关联法分析了水泥矿物组成与韧性间的主次相关性。陈志江等人利用灰色关联分析法得到了各个因素对混凝土碳化深度的影响,按照大小依次排序为: 水灰比、相对湿度、水泥用量、碳化时间。
( 1) 采用人工神经网络技术进行混凝土配合比设计,具有适应性强、准确有效的优点,是进行多组分混凝土配合比设计的一种切实可行的方法。
( 2) 模糊聚类分析与BP 人工神经网络结合进行预测比单纯的模糊预测精度要高,所需的训练次数要少,而且预测效果要好。
( 3) 灰色关联理论可以将混凝土多个影响因素的“影响力”进行量化、排序,不仅使人们在理论上更好的认识混凝土,而且有助于混凝土配合比设计方法在理论层面上的完善。
浏览量:3
下载量:0
时间:
人才培养指对人才进行教育、培训的过程。被选拔的人才一般都需经过培养训练,才能成为各种职业和岗位要求的专门人才。培养人才的形式有多种,除了在各级各类学校中进行系统教育的进修外,还可采取业余教育,脱产或不脱产的培训班、研讨班等形式,充分利用成人教育、业余教育、电化教育等条件,提倡并鼓励自学成材。以下是读文网小编今天为大家精心准备的:基于人才培养状态数据平台的高职院校师资队伍个案分析相关论文。内容仅供参考,欢迎阅读!
基于人才培养状态数据平台的高职院校师资队伍个案分析全文如下:
高职院校人才培养工作状态数据采集平台(以下简称“数据平台”)能反映一所学校的人才培养工作和运行状况。数据平台可以正确反映高等职业教育和高职院校的运行状态和发展轨迹,充分发挥高职院校自我监控和自我评价的作用,促进常态化、动态化管理。数据平台也是教育行政部门对高职院校进行宏观指导,建立高职院校自律、社会参与、市场监督、教育行政部门宏观指导等多方共同参与的教学质量保障体系,促进高职院校实现管理制度化、科学化、公开化、现代化的重要途径[1]。
师资队伍情况是数据平台的重要内容之一,分析、研究师资数据指标的设置和变化状态,有助于将采集到的数据转化为有价值的信息,进而对师资队伍建设进行合理调整。本文拟借助数据平台中的2012-2014年师资队伍状态数据,对海南省H高职院校师资队伍现状及问题进行分析并提出解决方案,以资为其他高职院校的师资队伍建设提供有益借鉴。
(一)师资队伍建设整体情况
近几年,H高职院校正努力建设与学校改革发展需要相适应的数量充足、特色鲜明、结构合理的教师队伍。目前,学校在校学生3838人,在校教职工260人,其中专任教师171人,具有初、中、高级职称教师分别为15人、98人、42人,占教师总数比为8.8%、57.3%、24.6%;教师中具有硕士以上学位或研究生学历的有68人,占教师总数的39.8%;“双师型”教师85人,占教师总数的49.7%。
(二)专任教师队伍基本情况
高职院校要办出特色,切实提高办学质量,必须具有一支数量足够、结构合理、相对稳定的专任教师队伍。2012-2014年,学校在校学生人数和专任教师人数逐年增长,校内专任教师师资结构见表1。
从表1可以看出,一支老、中、青相结合的校内专任教师队伍已初具规模,以2013-2014年度为例,从以下三个方面进行分析:一是年龄结构。H高职院校35周岁以下的教师78人,占校内专任教师总数的一半以上,师资队伍比较年轻,后劲发展强劲。二是职称结构。高级职称教师占校内专任教师总数24.6%,中级职称教师占57.3%,初级职称教师占15.0%,师资队伍的专业技术职务结构比较合理。三是学历结构。近年来,随着H高职院校对硕士研究生学历以上人才的引进,具有研究生学历或硕士学位以上的教师比例逐年上升,具有研究生学历的教师占校内专任教师总数的39.8%,具有硕士以上学位的教师占55.6%。
校内青年专任教师(45岁以下)中,2012-2014年具有研究生以上学历或硕士以上学位的教师数分别为38人、75人、104人,平均占青年专任教师总数的70.6%,可见青年专任教师队伍整体文化水平较高,具有较好的发展潜力,可持续发展后劲强劲。
(三)兼职、兼课教师队伍基本情况
师资队伍构成中,校内专任教师占师资总数的55.7%,校内兼课教师占8.79%,校外兼职教师占27.69%,校外兼课教师占7.87%。但校内专任教师比例处于偏低水平,校内专任师资不够充足,学校从行业企业部门聘请大量兼职教师在师资队伍中占据重要位置。
从表2看出,2014年度,H高职院校聘请来自企业和行业一线的校外兼职教师共计85人,学校较为注重从企事业单位聘请有实践经验的人员作为兼职教师,经过几年的建设,学校的兼职教师队伍已经成为一支不可忽视的教师队伍。据统计,H高职院校已经建设的校内兼课教师中,2014年度高级职称占22.2%,中级职称占25.9%,初级职称占18.5%;校外兼课教师人数增加,2012-2014年依次为14人、17人、24人,高级职称的比例占45.8%,中级职称的比例有所下降,由2012年度的50.0%下降为2014年度的37.5%。
(四)“双师型”教师情况分析
H高职院校重视对教师队伍的双师素质培养,并出台了相关文件鼓励教师到企业一线挂职锻炼。2013年校内专任教师、校内兼课教师的“双师”教师比例分别为59.5%、17.1%,2014年相应比例分别为65.8%、0。专任教师中双师素质的人数占比由2013年的59.5%增加到2014年的65.8%。然而,专任教师到企业、机关等一线实践锻炼时间一般在1~2学期左右,具有2年以上实践经历的只占23.1%,教师一线实践经历匮乏。
(五)教师承担教学任务情况
据统计,2013-2014学年,校内专任教师、校内兼课教师、校外兼职教师、校外兼课教师授课量(门数)分别为230、33、102、18,分别占总授课量的60.1%、8.6%、26.6%、4.7%,人均授课量分别为304、110、128、172。校内专任教师承担了学校主要的授课任务,达到全部授课任务的60.1%,任务比较繁重。由于学校重视发挥校外兼职、兼课教师的作用,并让他们承担了大量专业课程,一定程度上减轻了校内专任教师的授课压力。
(六)教师培训基本情况
近几年,H高职院校每年都采取措施加强师资队伍建设。数据显示,2012-2014学年教师参加的各类培训总人次依次为68、85、114,其中,教育教学理论培训的人次比例较大,分别占78.2%、73.4%、72.5%;专业实践能力培训的人次比例为21.8%、26.6%、27.5%。培训形式上,80%左右为校本培训模式或者院校培训模式。
二、师资队伍建设中存在的主要问题
(一)教师数量不足,师资结构的合理性有待提高
根据教育部《高职高专院校人才培养工作水平评估指标体系》规定的18:1为合格,16:1为优秀,H高职院校现有生师比为17.96∶1,达到合格标准。近些年H高职院校虽有意引进年轻的高学历人才,但年轻教师均为高校应届毕业生,教学水平和实践能力有待提高。专职教师中,高级职称所占比例偏低,专业技术应用领域有影响力的专业学科带头人相对缺乏。
(二)“双师型”教师素质不高,发展不均衡
H高职院校虽然重视“双师型”教师队伍建设,双师素质教师的比例也逐年提高,然而对“双师型”教师队伍质量水平的提升重视不够,院系或专业间的“双师型”教师比例发展不均衡,如专业中“双师型”教师比例最小的为4.2%,最大的为62.8%。只关注教师是否取得职业资格证书或取得的数量,有证无技现象较为突出,与职业教育所要求的既有渊博的理论基础知识又有丰富实践工作经验的“双师型”教师差距较为明显。
(三)兼职教师与其实际需求严重失调,实践教学型兼职教师数量不足
所聘兼职教师中,仅有少数可以胜任专业实践教学,绝大部分为专业基础理论课教师,与职业教育实际需求失调。兼职兼课教师一般为退休教师或企事业单位在编在岗职工,水平参差不齐且流动性较大,使得一些教学活动无法连续开展,不利于教学质量的提高。此外,兼职教师往往只关注教学,除教学工作以外的其他工作参与程度不高,如专业建设、课程建设、教材建设、课题研究等。
(四)师资培训项目较少,培训质量偏低
为提高教师教育教学能力,近年来H高职院校拨出部分经费投入到教师培训工作。然而,提供的培训机会相对较少,且技能培训无法实现准确对口,虽然与一些企事业单位开展了多种形式的合作,但大多停留在表面上,缺乏实质性内容。学校尚未形成完善的“双师型”培养培训机制,实践中尚存在部分教师在职培训机会少、培训质量低、培训形式单一、缺乏社会力量的有效介入等问题。
(一)加强教师队伍建设规划工作
全面评估分析自身师资队伍现状,根据学校定位和发展目标,制订合理的教师队伍建设规划方案。针对现有的师资队伍规模、学历结构、学缘结构、职称结构、专业教师比例结构、双师型结构等提出具体的规划建设目标,并制订相应的教师资源开发策略与措施,并予以制度保障。
(二)搭建多元化的教师成长平台
高职院校应加大师资培养、培训的力度,注重内培与外引,设置教师培养培训专项资金,创新教师培养培训模式,积极拓展多层级、多形式的“双师型”教师培训项目。搭建“技师培养工程”“教师企业顶岗实习”“青年教师技能大赛”等平台,形成院校培养模式、校企合作培养模式、校本培训模式、自我生成模式等多种师资培养模式[2]。合理利用校内外实践基地,完善教师到对口企事业单位定期实践制度,为专业教师到企业实践锻炼创造有利条件。
(三)强化职称评审制度的导向作用
目前,高职院校职称评审体系普遍采用与普通本科院校相同的政策制度,高职院校教师的引导方向仍集中在学术论文和纵向课题研究,对应用技术研发与成果转化、技能积累与创新等不够重视,“双师型”教师素质和质量不高。为突出高职院校职业性技能型特点,应加快完善高职院校教师职称评审制度,针对职业教育的特点和业务导向,考虑把教师参与行业企业技术应用、新产品开发、企事业单位挂职锻炼等纳入职称评审指标体系,制定并执行专门的真正适合职业教育教师技术职务(职称)评聘办法,实行教师专业技术职务分类评审制度[3]。
(四)完善“双师型”教师队伍建设政策
完善的“双师型”教师队伍建设政策体系是促进“双师型”教师队伍建设的前提和保障。政策制度应着重强调政策的可操作性和实践性,特别是要与本校的实际联系起来,制定灵活的、针对性强的“双师型”教师队伍建设政策。对“双师型”教师予以特殊支持,用优厚待遇吸引社会行业优秀人才到高职院校任教,在引进有实践经验的“双师”素质教师时,人事管理制度上应给予政策支持和制度保障。此外,高职院校应高度重视本校专职教师的实践能力培养,建立教师定期带薪脱产培训制度、企业实践制度,鼓励和支持教师参与产学研结合工作,分批次有计划地开展实践进修和挂职锻炼,以提升专职教师实践能力[4]。
(五)完善兼职教师的建设与管理
兼职教师在高职教育中的地位和价值,已完成了从“可有可无”的经济考量到“不可或缺”理性诉求的转变,然而,现实中的兼职教师管理与建设仍处于“边缘化”地位[5]。高职院校在扩充兼职教师数量的同时,应着力于兼职教师稳定性的管理与建设。
一方面广泛挖掘高质量的企事业单位人力资源,建立本校的“兼职教师信息库”,以储备优质兼职教师资源。制订与劳动力市场和人才市场相适应的兼职教师聘用政策,在聘用待遇、时间安排等方面灵活创新。
另一方面加强兼职教师队伍管理。严格准入标准,把握好兼职教师进本校教学的入口关,从源头保障聘任质量;加强兼职教师培训、考评的过程管理,提高兼职教师的教学效果。此外,高职院校要拓宽与行业企业融合渠道及深度,充分发挥行业企业在参与学校课程建设、教材建设、课题研究等人才培养工作中的作用。
浏览量:3
下载量:0
时间:
中医药数据库建设工作起源于1985年,数据库资源的详细描述与统一管理,包括数据库元数据管理、每个中医药相关的数据库涉及表的管理、每个表的数据元管理3个部分。今天读文网小编要与大家分享:构建中医药数据资源结构图谱的探讨相关论文,具体内容如下,欢迎阅读:
【关键词】 中医药信息学;数据资源;数据结构整合
构建中医药数据资源结构图谱的探讨
本研究通过分析中医药数据库资源的类型、特点和中医药资源存在的问题,提出基于现有数据库资源与结构,参考现有资源整合技术,从数据层、物理层、基础层3个方面入手,并结合体系构建等相关的资源深层整合技术,探讨构建中医药数据资源结构图谱的实际解决方案。
中医药数据库建设工作起源于1985年,目前,已经建立了覆盖中医药学科的复杂的多类型数据库,总数据量约200 G,文献数据库收集年代跨越58年。数据库建设主要包括单表数据库、结构性数据库和数据平台的建设。目前,中医药现代资源数据库的建设已经具有一定的规模,已经形成以中医药科学数据中心与分中心为主体的中医药文献型及事实型数据库群,几乎涉及到中医药信息的方方面面。 然而这些资源库群是彻底异构的,从数据结构、操作系统,到数据库系统、应用系统;从命名方式,到数据格式、结构模型、用户界面,都有可能完全不同,目前还没有标准规范能够对这个各个层次的异构进行适当的约束
中医药科学数据中心缺少完整解决方案。1.1 局部有序、整体无序 从某一种具体资源的角度来看,他们都是经过一定程度加工整序,具有统一的分类体系和检索界面。但从全局的角度来,中医药科学数据中心拥有的各种资源是一个个的“信息孤岛”, 各种资源内容交叉,信息重复,关联度低,用户查找资料时不但要在多个数据库中来回穿梭、重复操作,还要精通各种不同数据库、不同界面的数字资源系统检索技术,否则便难以查全或查准所需要的资料。
1.2 数据结构与标准不统一
各种不同类型的数字资源不但采用Oracle、mySQL、SQL、Access等不同的数据库物理模型或半结构、非结构的数据结构,而且在对资源的描述与揭示时没有采用元数据、数据元、数据模式等标准。数据库字段与数据表命名差异性较大,例如:“ZZ”表名对应数据字段名就有“主治”、“著作”、“作者”等。
1.3 数据来源多途径与数据版本复杂
中医药数据资源是指中医药科学数据中心与分中心收集的各类型专业数据,这部分资源数量众多,构成了学术数字资源的主体,现已成为重要的文献来源。从文献类型上看,有期刊、图书、会议论文、学位论文等;从文献级别上看,有题录、文摘、全文等不同的层次。自建数据库有多种载体、多种形式、多种类型、分散异构的信息资源,这些数据库形成时间长,数据更新多次,缺少清晰的资源定义与描述。
1.4 系统平台与应用程序各异
各种不同类型的数字资源有着不同的系统平台;不同的数据资源存在着过程数据的不同服务方式,例如:期刊文献数据库、结构型文献数据库、分析结构型文献数据库;同时,数据表存在着基础数据库、粗表数据库、细表数据库、单元素数据库等,部署在共建、共享的服务器上,也给数据管理带来麻烦。
2.1 数据资源整合
整合的实质就是各个单独事物共同遵循统一的原则、标准、规定,打破原来的界限形成有机的统一体。数据资源的整合[1],英文可译作“digital resource integration”,就是通过各种手段和工具将已有的信息资源集成起来,并按照一定的逻辑关系进行组织,实现信息资源的有效共享,为用户提供条理化的信息服务,为后续信息的管理与使用提供规范,从而实现信息的增值利用。
数字资源整合主要集中在数据集的整合和应用的整合两个方面,再具体细分还可以划分为数据集成、信息集成、信息系统集成及业务(或工作流)集成等4个阶段。
通常数据资源整合的范围可以包括4个方面。①数据整合:数据标准、主题数据库、数据交换平台、基于语义的全局数据视图。②应用整合:使用统一用户认证、使用统一的数据交换、使用门户实现应用集成。③内容整合:信息规划、信息导航、统一搜索、信息专题、信息门户。④流程整合:统一数据采集加工处理流程、统一数据存储管理、统一数据访问和调用接口。
信息资源整合根据系统论的原则,依据一定的需要,对各个相对独立系统中的数据对象、功能结构及互动关系进行融合、类聚和重组,重新构建一个新的有机整体,形成一个效能更好、效率更高的新的信息资源系统。目前,数字资源整合的方式主要包括:基于OPAC资源系统的整合、基于数字资源导航的整合、基于异构数据库跨库检索的整合、基于数字图书馆应用系统的整合等。
2.2 数据资源整合技术
2.2.1 DOI技术
DOI(Digital Object Identifier)由International DOI Foundation组织构造。该系统提供了一个框架,为数字环境中的数字对象分配唯一的、永久性的标识,方便该对象被管理和使用。DOI系统由4部分构成:申请DOI;创建对指定DOI对象的描述;解析系统;规则。
2.2.2 SFX技术
SFX即Special Effects Cinematography,它是比利时根特大学的萨姆堡尔为首的研究小组提出的。通过Open URL框架把复杂的数据库之间的互连通过简单的链接完成。
2.2.3 Web Services技术
Web Service是为实现“基于web无缝集成”的目标而提出的全新概念,希望通过Web Service能够实现不同的系统之间能够用“软件-软件对话”的方式相互调用,打破软件应用、网站和各种设备之间格格不入的状态。
2.2.4 地域性索引服务平台技术
A.N.ZINCIR-HEYWOOD提出一个地域性索引服务平台(Domain Index Server),建议依靠一个索引代理去创建成主要的原文献索引,这个代理通常是软件系统,能够在异构信息支撑下自动行动(搜索)的系统。
2.2.5 MAP资源整合系统
INNOPAC公司推出的MAP (Millennium Access Plus)是一个集成的资源整合系统,它可实现不同信息资源的动态链接。这些资源包括全文电子资源、题录和文摘数据库、书目数据库、图书馆在线书目系统、图像数据库及搜索引擎等其他Web资源。
2.2.6 OAI标准整合模式
OAI是指open archives initiative,它的目标是发展和促进互操作标准,促进内容数据的有效传播。①数据提供者:提供元数据的Web服务器。②服务提供者:向数据提供者发出请求并且利用得到的元数据构建增值服务。③存储体:由数据提供者管理的可以在网上访问的服务器,它提供服务提供者需要采集的元数据。④采集器:在服务提供者方作为从存储体中搜集元数据的一种应用工具。
2.2.7 情报源图谱
美国国立医学图书馆主持了一项长期研究和开发计划,即统一医学语言系统(UMLS),其项目中有一个是关于生物医学机读信息资源的情报源图谱,其目的是利用超级叙词表和语义网络实现情报源与特定提问的相关性;有效组织信息资源,为用户提供特定信息源的范围、功能和检索条件等人工可读的信息;自动连接相关信息源;在一个或多个情报源中自动检索并自动组织检索的结果。
3.1 中医药数据资源结构图谱框架(见图1)
3.2 中医药数据资源结构图谱内容
3.2.1 物理层
系统运行的硬件、软件环境,解决如何为应用系统提供统一的支撑环境,支持应用系统的运作。
3.2.2 基础层
位于物理互连的网络协议之上,用于标准化、规范化描述数据,为更上层的数据交换提供基础性支持的标准、规范。基础性协议标准又可以划分为数据描述层面和数据访问层面。前者主要包括元数据、XML、RSS,后者主要包括开放数据库互连标准(ODBC)等。在数据描述层面内部,RSS具有提供内容聚合的功能,是为实现内容聚合而制定的一种信息描述、组织的规范,但它也具有资源发现、发布的功能,更是一种新形式的描述规则。因此,将RSS归入基础的描述层面标准。准确的说,RSS本身也是基于XML格式的,其实是XML成功应用的一个典型。从这一层总体来看,这些基础的标准、规范(除了RSS之外),大多数都不是专门为解决资源整合的问题而制定的,主要是从信息组织、跨异构数据库的互连、互访用途出发的。但是,它们确为更好地实现资源整合提供了有力的支持。
3.2.3 数据层整合
旨在屏蔽各数据源异构性,使得各数据源之间能够进行数据的交换与交互,令用户可透明地访问多个数据源。要实现数据整合,必须对数据进行跨数据源的收集、组织、处理与集成。根据整合系统与数据源之间交互的特点,又可以分为3种形式:基于联邦的整合、基于采集的整合、基于链接的整合;数据层整合协议的重点是解决系统之间的数据交换和数据交互。
整合揭示以下功能。①不同文献层次、级别的指引关系:题录信息→标引信息→文摘信息→全文→结构信息,一次文献和二次文献之间的对应联系。②中心数字资源和网络数字资源之间的交叉、重复和互补关系:全文数据库与中心文献相重复的部分;又如PUBMED的生物医学资源中的期刊包括绝大多数的馆藏期刊,并提供了大部分题录和部分免费全文。③数字资源之间的主题相关或学科相关,内容上的重合和互补关系:引用和被引用及共同引用的关系,说明资源在内容上的相互关联。④数字资源与服务之间的关系:共建资源与服务资源之间存在密切联系,但因服务层次需求分为全文、结构、粗表、细表、分析表等资源。
3.2.4 具体整合要求
数据库资源的详细描述与统一管理,包括数据库元数据管理、每个中医药相关的数据库涉及表的管理、每个表的数据元管理3个部分。数据库的元数据管理需要对数据制作相关的信息如制作人、起始日期、制作背景、目标、更新周期等信息进行管理,并可以使用中医药的分类词表对数据库进行描述;表的数据元管理需要指明字段的名称、类型、大小、取值范围以及所对应的标准。此外,多个数据库之间也存在一定的关系,如方剂数据相关的数据库,就有中国方剂数据库、方剂现代应用数据库等,对于方剂类数据库需要制定统一的方剂数据库制作标准,并对这些库之间的关系进行描述。
要求研制管理工具,能够增、删改每个数据库的元数据、数据元,以及每个数据库之间的关系,并能够逐层次的展示各层的信息以及关系。能够使用检索方式、分类方式来具体的定位到相关的信息。
应用软件的详细描述与统一管理,包括应用软件的描述、应用软件使用数据库资源的描述。应用软件包括软件开发的起始日期、目标、版本、开发语言、开发人员、源代码、可运行包、状态、安装运行条件、软件描述、使用者、帮助文档、安装文档等信息。
管理工具需要管理这些信息并能够映射数据库资源,能够看到每个软件所使用的数据资源,并能够从数据库资源导航到相关的软件。
服务器信息的管理主要指数据库资源在具体服务器上的分布以及存贮信息,包括服务器的编号、所安装的数据库、数据量、可存贮量、实际的数据存贮情况、每个数据库的超级管理员帐号、数据库表空间的帐户信息等。每个数据库资源需要映射到相应的服务器。
3.3 中医药数据资源结构图谱功能
由于中医药数字资源的内在联系不是单向或线性的,而是呈网状的复杂关系,因此,不可能通过单一的线索或统一的机制描述全局的状况。建立中医药资源结构图谱目标是要通过多种模式,多角度和多层次地挖掘和揭示这些内在关系,通过链接、集成和嵌入实现资源之间、资源和服务的整合。其实现的主要功能如下。
3.3.1 数据库资源管理功能
该项功能主要实现对数据库元数据的管理和展示,主要分数据库管理、单个数据库管理、单个表的管理以及数据库信息展示4个子功能。
①数据库管理。提供对数据库信息的管理,包括以下功能:a.增加和删除数据库元数据,并可以对其进行编辑(元数据包括制作人,起始日期,制作背景,目标,更新周期等);b.管理不同数据库之间的关系,实现数据库之间关系的增加、删除、编辑功能;c.通过中医药分类词表对数据库进行描述。
②数据库中表的管理。提供对指定数据库中所属表信息的管理,包括对数据库中所属表信息的管理。
③单个表对应信息的管理。提供对单个表对应元数据的管理,包括以下功能:a.对单个表的元数据进行管理,表中的字段信息可以直接从数据库中得到;b.管理表对应的标准。
④元数据的定位和展示功能。实现对元数据的定位和展示,包括可以对元数据进行逐层展示。根据数据资源分类标准进行元数据目录分类的分层,并定位元数据。
3.3.2 数据库应用软件管理功能
这项功能主要实现对具体应用程序的描述和管理,包括以下子功能:①应用软件自身信息的展示,包括软件开发的起始日期、目标、版本、开发语言、开发人员、源代码、可运行包、状态、安装运行条件、软件描述、使用者、帮助文档、安装文档等信息。②应用软件使用数据资源的描述,可以查看软件对应的数据资源。③增添元数据管展示功能,可以通过数据资源导航到相关软件。
3.3.3 应用程序信息管理功能
实现对应用程序相关信息的管理,包括以下子功能:①增加、删除和编辑应用程序的元数据;②管理应用程序与其数据资源之间的关系,可以建立、删除、编辑应用程序与数据资源(数据库中的表)之间的关联。
3.3.4 服务器信息的管理
实现对服务器上数据资源信息的管理,包括以下子功能:①建立、删除、编辑服务器元数据,包括服务器的编号、所安装的数据库、数据量、可存贮量、实际的数据存贮情况,每个数据库的超级管理员帐号,数据库表空间的帐户信息等;②建立、删除、编辑数据库与服务器之间的关系。
随着网络信息的海量增长,信息资源的有序化和信息的可用性问题已经成为以数字化为核心的中医信息资源建设中的一个关键问题。中医药科学数据中心与互联网包容的信息内容在数量和覆盖内容方面日趋全面,我们期待着设计更加科学、结构更加完备、管理更加规范、功能更加强大的资源整合系统,为网络资源的发现、整合与利用提供一个全新而高效的技术平台,为中医药信息服务开辟更加广阔的发展前景。
浏览量:3
下载量:0
时间:
在进人新的世纪后,我国明确提出了以德治国的方略,并在全社会开展了《公民道德建设实施纲要》的学习活动。对于统计数据的造假问题,已不单单是法制就可解决的问题,因此,加强全社会的道德、诚信教育,提高全党、全民的道德诚信意识水平,仍应作为当前和今后我国精神文明建设的重点工程来抓。
今天读文网小编要与大家分享的是:试论统计数据失真原因及对策相关论文。具体内容如下,欢迎阅读!
[论文关键词]统计数据数据失真原因对策
〔论文摘要〕本文对统计数据失真的原因进行了详细的分析,提出了根治统计数据失真的可行对策。
试论统计数据失真原因及对策
从本世纪开始,我国进人了全面建设小康社会,推进社会主义现代化建设的新的发展阶段。作为一个国家社会与经济发展的基本情报的统计数据,其真实性直接影响到中央和各级政府、主管部门制定政策、进行决策和调控管理的科学性、合理性、有效性。因此统计数据是否真实直接关系到我们建设小康社会的成败。然而当全国上下都关注经济发展时,在统计数据上弄虚作假、虚报浮夸的现象也时有发生,统计数据的质量问题,引起了社会各界的质疑和批评。在此基础上做出的决策、制定的政策其效果都不得不大打折扣,甚至由于虚假信息的误导,造成许多决策的重大失误,给国民经济和社会发展造成很大损失和浪费。对这一严重后果,社会各界有识之士已认识到了,并采取了一些相应的措施,但收效甚微。我认为统计数据失真的原因是多方面的,要彻底根治,我们必须标本兼治,从基础抓起,从源头抓起。
1、社会道德失衡,诚信严重失范,是造成统计数据失真的社会基础。改革开放以来,我国的社会经济发生了重大变化和深刻变革,人民生活显著提高,但无庸讳言,随着生活水平的提高,近年来社会诚信水平出现了明显下降趋势。这种道德失衡、诚信失范的现象不仅成为我国市场经济进一步发展的严重障碍,也成为统计数据造假的一大社会根源。它影响到了作为调查者的统计部门及统计工作者,也影响到了向社会提供各种统计资料的社会各界的每一个人,同时更影响到了我国各级领导干部。
2、干部管理机制不完善是导致和助长统计数字造假的一个重要源头和关键所在。近年来我们国家对干部的考核任免,开始对其业绩进行量化考核,这应该是干部管理迈向规范化、科学化的重要一步,但是对于定量考核的某些指标我们没有进行严格、科学、规范的审计和评价,正是由于这一管理机制中的重要缺陷,使某些领导出于地方、部门、个人利益的考虑,对统计部门授意和间接施加影响,使之按其意志编造或瞒报、虚报统计数据,从而导致和助长了整个社会数字做假的不良风气,严重影响了重要统计数据的可靠性和准确性,给我国社会经济的发展造成了重大损失。
3、统计法制意识淡薄,执法力度不够是造成统计数据造假日趋蔓延的关键因素。首先是整个社会的统计法制意识淡薄,从领导到群众,从上级主管部门到基层单位,从调查者到被调查者,都没有充分认识到对统计数据造假与其它触犯刑律的行为一样,也是一种严重的违法行为,也要承担法律责任。一部分人出于对部门、个人利益的考虑,对数字造假心知肚明,且彼此心照不宣,甚至协助造假、做假。其次,统计执法乏力,缺乏应有的打击力度,使统计法律、法规失去了应有的震慑作用,使本已非常淡薄的统计法制观念更加淡薄,直接助长了社会上统计数据造假的现象。
4、统计部门自律制度不完善是造成统计部门对统计数据失真、失守的关键因素。由于现在我国统计部门还没有财务部门那样严格的自律制度,所以统计人员和统计部门没有会计人员那样高的责任感和纪律约束感,因此也弱化了为保证统计数字质量而应该坚持的原则和立场,降低了自己对假数据的责任意识、敏感性和抗干扰能力、放弃了捍卫统计数据真实的神圣职责,使统计数据的真实性、可靠性失去了最后的保障。
5、统计工作人员及社会各界和领导的自身素质水平低下是造成统计数据失真的又一主要原因。首先现阶段我国统计队伍业务素质水平较低,造成统计各工作阶段科学性差,对统计工作各环节控制不严谨、不合理,造成了统计数据不同程度的失真。其次,作为被调查的社会各界,由于缺乏必要的文化及素质水平,导致记忆、记录、估计不准,也会使所提供数据失真。最后,由于部分领导干部个人思想觉悟、业务能力较低,向统计部门所提供的一些数据不是经过科学调查得到的,而且仅凭个人臆断、拍脑袋拍出来的,当然会使统计数据失真。
1、加强社会道德诚信教育。在进人新的世纪后,我国明确提出了以德治国的方略,并在全社会开展了《公民道德建设实施纲要》的学习活动。对于统计数据的造假问题,已不单单是法制就可解决的问题,因此,加强全社会的道德、诚信教育,提高全党、全民的道德诚信意识水平,仍应作为当前和今后我国精神文明建设的重点工程来抓。
2、进一步完善干部管理体制。我们必须进一步完善干部管理体制,对各级干部的考核、评价与相应的升迁与任免,要建立严格、科学、规范的业绩评估制度,如授权专门评估机构评估、评估前不可先通报以及对违规行为的处罚办法等,严格防止“官出数字、数字出官”的腐败现象。
3、加强统计法制宣传和执法力度。由于长期以来对《统计法》宣传力度不够,对于统计数字造假这一违法现象,很少有人意识到这是违法行为,也很少有人去举报或抵制,因此很少有数字造假者得到法律制裁,致使《统计法》根本起不到其应有的震撼作用,助长了数字造假的不正之风,使统计数据治理的环境进一步恶化。因此我们必须要在全社会大张旗鼓地宣传统计法制,并全方位加大统计执法检查力度,严厉打击,处理一批严重的统计违法案件,树立统计部门的权威。
4、完善统计部门的自律、监督机制。要象会计部门的财经纪律一样,在统计部门,建立起一套责、权、利相协调的管理机制,完善统计部门的自律、监督制度,以严格约束、监督统计工作。
5、努力提高统计工作人员业务素质、全民文化素质,提高全社会统计意识。通过开展多层次、多形式的统计岗前、在岗教育培训工作,对不同岗位的业务人员进行定期轮岗,扩大统计人员的业务面,提高统计人员政治和业务素质,为提高统计数据质量提供根本保证。同时积极在全社大力宣传统计的重要性,提高全社会对统计的认同意识,特别是提高政府、企业领导于部对统计工作重要性的认识,从源头上杜绝数字失真的问题。
总之,提高统计数字质量是一个长期的,艰巨的和复杂工程。统计数据不实,甚至在统计数据上造假,会误国误民。统计数字打假求实,大力提高统计数据质量势在必行,我们应多管齐下,综合治理,共同提高统计数据质量,以确保我国改革在一个更加良好的环境中顺利进行,使国民经济更加健康地发展,加速实现小康社会。
浏览量:7
下载量:0
时间:
思想政治教育应当从人的现实表现入手,分析支配行动的思想动机,再从思想动机分析产生该思想的客观外界条件,然后根据思想政治教育的要求去创造和改变外界环境,使之具有产生好的思想动机的外界条件,从而促使人们形成良好的思想动机,并帮助人们采取科学的方法,争取获得尽可能好的行动结果。这种改变引起需要的客观外部条件,掌握人的需要,改变动机,控制行为的过程,是思想政治教育的一条重要的规律。以下是读文网小编今天为大家精心准备的:网络思想政治教育大数据运用带来的机遇与挑战探讨相关论文。内容仅供参考,欢迎阅读!
内容摘要:大数据改变了社会很多领域的发展,并逐步影响着教育的发展。尤其是网络思想政治教育正处于这种大数据广泛运用的新环境下,网络数据信息技术的迅速发展,教育对象的深刻变化,既为网络思想政治教育的发展带来了机遇,也对网络思想政治教育提出了挑战,比如数据意识、数据平台、数据人才队伍建设将是网络思想政治教育发展的重难点。
关健词:大数据 网络思想政治教育 机遇 挑战
随着科技的革新和时代的发展,我们逐渐进入了大数据时代,网络思想政治教育在新的环境下,面临教育对象的社会行为和思想感情数据化等新的变化,教育活动能够以大数据为依据等新的机遇,这些都为网络思想政治教育的新发展提供了方向。因此,研究大数据与网络思想政治教育的关系和网络思想政治教育的大数据运用具有一定的理论与现实意义。
2013年社会中的各行各业因“大数据”而发生变革,在互联网信息技术的推动下,“信息爆炸已经积累到了一个开始引发变革的程度”,世界上的数据存储量每年正以几何数的方式急剧增长,我们渐渐进入了一个大数据时代。原有的数据收集处理、分析方式及其相关理念已经无法适应如此庞大的数据量,由此大数据便应运而生。大数据究竟是什么?它是一种技术,一种价值观和方法论。大数据具有着“容量、种类、速度、价值”的四大特征,其中最重要的就是数据的使用价值,各国对此已经开始高度重视大数据的科学价值和社会价值。
对于网络思想政治教育来说,其教育对象是广大网民,大数据使得它的教育对象发生了深刻变化,呈现出了新的特点。
对每个网民而言,大数据与我们的日常生活息息相关,伴随传统互联网向移动互联网的发展,每个人都成为了大数据的制造者、传播者、共享者和分析对象。一方面网民逐渐从“玩网”到“用网”的改变,不仅增加了网民的数量,而且使“互联网在促进网民获取信息、拓展人际交往、鼓励社会参与、提供实际生活便利等方面发挥的积极作用较为突出”。[2]网络已不再是虚拟空间,而是现实生活的一部分。人们通过网络购物消费、进行网上活动、各种通信行为等等,都会在网络上被记录成数据,每个人都自觉或不自觉地参与了数据的制造。
另一方面,网络生活与现实生活的交织互动,现实的网络化和网络现实化的程度加深,则使网络中的数据在很大程度上反映着网民的现实生活状态,此时,网民的一切行为都被量化为具体的数据,包括思想和情感。每个人的行为规律、生活习惯、心智状况和个性特征都能够通过数据分析来获得,前提就是个人的数据累积足够多。大数据从宏观与微观的层面充分把握网民,网络思想政治教育抓住机遇,充分利用大数据,则可以为网络思想政治教育带来新的发展机遇。
在大数据时代,每个人在日常生活中都会通过网络随时随地获取和产生新的数据,无数联网的企业、机器等等也会时刻获取和产生新的数据。大数据蕴藏着巨大的科学价值和社会价值。大数据如同一个巨大的富矿一样需要我们去开采,网络思想政治教育离不开数据信息,因此充分运用大数据,能够寻找网络思想政治教育发展的新机遇。
其一,数据化信息为网络思想政治教育活动提供数据支撑。
大数据时代首先表现为无处不在的数据化,“数据化代表着人类认识的一个根本性转变。有了大数据的帮助,我们不会再将世界看作是一连串我们认为或是自然或是社会现象的事件,我们会意识到本质上世界是由信息构成的。”“一旦世界被数据化,就只有你想不到,而没有信息做不到的事情了。”[1]
网络思想政治教育在针对教育对象开展活动时,就可以利用数据化信息突破对教育对象了解的局限性,甚至通过分析数据的相关性,预测受教育者的思想行为。对个体来说,通过数据分析多维度、多层次地了解教育对象个人的思想状况、情感变化、个性特征等等,运用数据化信息提高教育活动的科学性、针对性、实效性。对群体来说,网民出现了新的特点,即“网民整体的触网年限在增长”“网民的年龄结构发生变化,网民的总体年龄在长大。”[3]网民的层次更加复杂,网民的数量急剧增长,小数据在网络思想政治教育中无法对现在的网民进行分层、分类甚至动态分析,只有大数据能够冲破时间、空间、行业的界限,透析网民的增长方式、增长规律、增长效应,实时获取信息,针对不同层次网民,实施一对多,多对多的教育活动。
其二,可量化为网络思想政治教育研究提供新的分析范式。
定性分析与定量分析一直是网络思想政治教育研究的重要方法,其中定量分析是定性分析的数据保障。以往的定量分析研究采用抽样调查的方式,工作量大且受诸多因素的制约,在有限的抽样数据的基础上效果难以保证。同时,网络思想政治教育对象的思想具有不确定性、动态性、私密性等特点,使得定量分析研究方法运用的并不充分。大数据的运用则不然,因为数据处理的理念是要全体不要抽样,所以可量化的鲜明特点使得网络思想政治教育对象的思想情感也可通过大数据来获得,而不是随机抽样的分析研究,全数据模式真正发挥了定量分析研究方法的优势。
正如评论人谢文在《大数据时代》的推荐序中所指出:“大数据时代的来临使人类第一次有机会和条件,在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据,深入探索现实世界的规律,获取过去不可能获取的知识。”[1]5这就使得小数据时代无法完成的量化分析研究,在大数据面前能够完成,从而推进网络思想政治教育分析范式的创新。
网络思想政治教育是“指一定阶级、政党、社会团体用一定的思想观念、政治观点、道德规范,通过现代传媒计算机网络对其受众施加有目的、有计划、有组织的影响,使他们形成符合一定社会、一定阶级所需要的思想品德的社会实践。”[4]7-8这表明“实践性是网络思想政治教育最重要的本质属性。”[5]同时,计算机网络是其重要媒介。因此,大数据时代应充分把大数据的技术方式运用到网络思想政治教育的实践活动中,这就对网络思想政治教育提出了以下挑战。 第一,树立数据意识。具有数据意识才会高度重视大量数据化信息的收集与处理,为网络思想政治教育建立数据基础。顺势改变符合大数据时代的教育内容和形式的着力点在于把握好宏观和微观的数据。
在宏观层面上,不同群体网民的思想状况可以通过分析网民们的各种数据来把握,包括他们上网时留下的痕迹、在现实生活中随时生成的数据、进行社会活动时记录的数据等等,进而可以详细划分不同群体层次,进而提升网络思想政治教育活动的覆盖面和系统性。在微观层面上,网民的个人信息被数据化后,累积到一定程度,就可以借助数据来分析每个人的思想行为,再根据每个人独特的思想行为有针对性的制定并开展网络思想政治教育活动,从而增强了网络思想政治教育的实效性。
第二,与数据资源丰富的部门、媒体、企业建立良好的合作关系。
具有社会属性的网络思想政治教育“既依靠社会力量,又服务于社会。”网络思想政治教育要想发挥大数据所蕴藏的价值,就要借助于数据资源丰富的部门、媒体、企业的数据平台,合法合规地挖掘教育对象的相关信息,因为大用户量、大数据量都存在于数据资源丰富的部门、媒体、企业之中,通过他们建立教育信息数据库,可以为网络思想政治教育活动提供依据。反之,网络思想政治教育又可以利用数据资源丰富的部门、媒体、企业等的实践平台加强网络思想政治教育的信息渗透。经过数据分析网民的信息,有针对性的把网络思想政治教育信息渗透到网民的学习与业务信息中去,把网络思想政治教育信息渗透到与网民衣食住行相关的信息中去,把网络思想政治教育信息渗透到网民的娱乐休闲信息中去。
第三,建立网络思想政治教育的数据分析队伍。
大数据时代来临时间尚短,因此有关人才缺乏,网络思想政治教育要想适应大数据时代就应该相应地储备数据分析与处理的人才,网络思想政治教育人才不仅要懂得思想政治教育,还要熟悉使用网络信息技术,这只人才队伍将为网络思想政治教育的新发展提供基本力量。人才队伍的任务不仅要学会运用大数据开展网络思想政治教育活动,还要利用网络信息技术将教育内容数据化,由于数据的形态多样,既包括文字、图片,也包括音频、视频,所以能够大大扩展网络思想政治教育内容的传播形式,教育内容既可以包括网络思想教育信息、网络政治教育信息、也可以包括网络道德教育信息、网络心理健康教育信息等等,这样网民在分享日常生活数据化信息时,即可随时随地获取教育内容,潜移默化中接受思想政治教育,使教育活动化被动为主动。
大数据时代为网络思想政治教育带来了新的变革,能够弥补网络思想政治教育“缺乏系统性和有效性”[6]的不足,准确把握网络思想政治教育主客体意识和实践活动的过程与规律。但网络思想政治教育的大数据运用应注意不可过分依赖大数据或是盲目相信数据,还应透过数据的相关性深入分析数据的因果关系,合理适度的运用大数据,为网络思想政治教育寻找新机遇,迎接挑战,在数据意识、数据平台、数据人才队伍建设上获得新发展。
【网络思想政治教育大数据运用带来的机遇与挑战探讨】相关
浏览量:2
下载量:0
时间:
3G是指第三代移动通信技术,是将无线通信与互联网等多媒体通信结合的新一代移动通信系统。联通3G采用全球通用WCDMA技术,能够提供包括可视电话、无线上网、手机上网、手机电视、手机音乐等多种信息服务。以下是今天读文网小编为大家精心准备的:联通3G数据承载网的发展与演进探讨相关论文。内容仅供参考阅读!
联通3G数据承载网的发展与演进探讨全文如下:
在当前主流的三大3G移动标准中,中国联通拥有GSM和CDMA两张全国的移动运营网络,有必要对这两张网络向3G演进过程中的无线、交换、数据等涉及的技术问题和演进方向进行深入细致的研究和探讨。本文立足于面向3G数据承载网所面对的挑战和技术问题进行尝试性地探讨,希望与业内和联通同仁分享。
中国联通目前拥有GSM和CDMA两种制式的网络,从技术演进策略来看,3G的技术选择将存在WCDMA和CDMA EV-DO两种演进趋势。
1、WCDMA的总体技术框架(R99版):WCDMA系统是IMT-2000家族的一员,它由CN(核心网)、UTRAN(UMTS陆地无线接入网)和UE(用户装置)组成。UTRAN 和UE采用WCDMA无线接入技术,CN与UTRAN的接口定义为Iu接口,UTRAN与UE的接口定义为Uu接口。目前,WCDMA系统标准的R99版本已经基本稳定,其R4、R5和R6版本还在紧锣密鼓的制订中。
2、CDMA2000 EV-DO的技术框架(联通HRPD系统参考模型):随着移动通信技术的发展,中国联通CDMA数字蜂窝移动通信网络不断升级,从第一阶段的IS95A增强型网络升级到第二阶段的CDMA 1X网络。下一步,网络将升级到中国联通800MHz CDMA 增强型1X数字蜂窝移动通信网(以下简称“中国联通CDMA 增强型1X网络”),中国联通CDMA 增强型1X网络包括CDMA 1X网和高速分组数据HRPD网。网络分为核心网和无线接入网两个层面,其中核心网分为1x的电路域和分组域;接入网分为1x无线接入部分和HRPD无线接入两部分。
总体要求
多业务支持能力:传统的2G移动网络和传输网络基于电路交换;WCDMA R99/R4商用化版本目前采用ATM协议, 3G网络的发展趋势是全IP化,因此在相当长的一段时间内,电路交换业务和分组业务将在网络中并存,需要传输网络在支持传统电路交换业务的同时,也同样能够支持日益增长的分组业务;
良好的扩展性:随着3G技术的发展和业务的开展,可以预见移动数据业务的份额以及移动总业务量会有较大的增长,这需要传输网络具有在能够满足大容量传输的基础上,能够具有良好的可扩展性,以更好地保护原有网络投资;
业务收敛汇聚能力:3G业务的带宽需求主要来源于移动数据业务,数据业务具有流量不确定和突发等特性,因此3G传输网络应该具备业务的收敛汇聚能力,以保证有效利用传输网的带宽,节省网络建设的投资;
网络可靠性:3G业务包括移动数据业务和话音业务,可靠性要求高于一般的数据网络,因此3G传输网络必须具有电信级的保护能力,提供较高的可靠性;
可管理性:随着3G业务的开展和网络的广覆盖,3G传输网络将逐渐演进为庞大的多业务传送网络,良好的管理能力将有效节约网络的运营维护成本。
无线接入的带宽需求
WCDMA制式下,Iub作为Node B到RNC的业务接口,接口类型包括 E1、N×E1 IMA、STM-1(承载ATM)等几种;R5以后版本可能直接为FE接口。按照话务预测模型,Node B对应Iub接口总的带宽为W= Ncell×(Nuser×Ev×6.22k+Nuser×Ecs×64k+Nuser×Vps)×(1+Osig+Oo&m)×(1+Q)/(1/Y)
其中Ncell表示小区数;单载频全向基站为1个小区;单载3扇基站为3个小区;2载3扇基站为6个小区;以此类推;
Nuser为小区内的放号用户数;
Ev为每用户话音爱尔兰数
Ecs为每用户可视电话爱尔兰数
Vps为每用户平均数据速率
Osig为控制信令的开销,取10%
Oo&m为逻辑和物理操作维护等的开销,取5%
Q为ATM传输产生的开销,10%
Y为负荷因子,取80%
其中12.2k话音业务的带宽,假设60%的激活因子,说话过程中假设10%处于静默状态,需要传递SID帧,可以得出带宽为6.22k
根据业务经验预测模型,可以推算出基于R99版本下,3G建设初期、中期和远期Node B对应的Iub带宽分别对应为:1-4E1(初期)、1-8E1(中期)、1-12E1(远期)。
CDMA EV-DO制式下,CDMA网BTS-BSC之间业务和信令的Abis接口,语音采用PCM格式E1接口、数据采用IMA E1方式传送,但不同厂商在具体实现方式仍存在差异。在BSC侧,有些厂商仅支持ATM E1的电接口模式;有些厂商支持ATM E1电口和ATM STM-1光接口两种方式,同时支持ATM 的IMA n*E1的接入模式。在接入带宽的预测模型上,各厂家模型也各不相同。下面以三星公司设备为例,EV-DO基站对应E1数量计算方式如下:
EV-DO单载波单扇区物理层吞吐量:840Kbps(Samsung仿真)
每扇区RLP层吞吐量:840Kbps*0.8=670Kbps
E1 电路中RLP层最大传输能力:1.3Mbps(去除E1的信令通道开销、
ATM信元开销、Oo&m维护管理等开销)
1FA/3Sector:( 3Sector*670Kbps)/ 1.3Mbps=1.54E1(2E1)
2FA/3Sector:( 6Sector*670Kbps)/ 1.3Mbps=3.09E1(4E1)
3FA/3Sector:( 9Sector*670Kbps)/ 1.3Mbps=4.63E1(5E1)
因此,CDMA EV-DO无线接入部分对传送网的需求一般情况为2个E1到5个E1,如果再考虑现网CDMA 1x的覆盖对传送网的需求为1个E1到3个E1的情况,二者合计为3个E1—8个E1。
由此得到WCDMA和CDMA2000两种制式下,无线接入部分的带宽需求,同时考虑联通CDMA EV-DO与今后WCDMA共站与不共站的情况如表1所示。
* 核心网的带宽需求
在核心网的功能划分上,无论是WCDMA还是CDMA EV-DO均采用了分组域与电路域分离的模式。其中:
WCDMA技术体系下,由于RNC朝大容量趋势发展,中等城市只需设置1~2个RNC,并常常与MSC位于同一机房,在传送网组网时可将RNC和MSC统一规划到骨干层;骨干层承担RNC、MSC、GMSC、SGSN、GGSN间的传送。其中,Iu-cs作为RNC到MSC的电路域接口,接口类型为STM-1/STM-4(承载ATM),有时也用E1接口; Iu-ps作为RNC到SGSN的分组域接口,接口类型为STM-1/STM-4(承载ATM),有时也用E1接口; Iur作为RNC之间的接口,接口类型为E1 /STM-1; G作为包括MSC、VLR、HLR和GGSN、SGSN之间的多种互连接口,包括STM-1/STM-4(承载ATM、TDM)、FE/GE、E1等类型。
CDMA EV-DO技术体系下,不同厂商在核心网设备的设计上有不同的考虑,有的厂商BSC朝着大容量的方向发展,如朗讯公司;有的厂商则通过采用小容量BSC可堆叠扩容的方式设计,如三星公司。在核心分组域中BSC-PCF之间信令和业务A8/A9接口采用ATM155M(BSC和PCF往往同一套设备)、PCF-PDSN之间A10/A11接口采用FE/GE接口类型。
浏览量:3
下载量:0
时间: