余弦定理和新闻的分类（转）

joydandan  Jul 20, 2006  -  Show original item

发表者：吴军，Google 研究员

余弦定理和新闻的分类似乎是两件八杆子打不着的事，但是它们确有紧密的联系。具体说，新闻的分类很大程度上依靠余弦定理。

Google 的新闻是自动分类和整理的。所谓新闻的分类无非是要把相似的新闻放到一类中。计算机其实读不懂新闻，它只能快速计算。这就要求我们设计一个算法来算出任意两篇新闻的相似性。为了做到这一点，我们需要想办法用一组数字来描述一篇新闻。

我们来看看怎样找一组数字，或者说一个向量来描述一篇新闻。回忆一下我们在"如何度量网页相关性" 一文中介绍的TF/IDF 的概念。对于一篇新闻中的所有实词，我们可以计算出它们的单文本词汇频率/逆文本频率值（TF/IDF)。不难想象，和新闻主题有关的那些实词频率高， TF/IDF 值很大。我们按照这些实词在词汇表的位置对它们的 TF/IDF 值排序。比如，词汇表有六万四千个词，分别为

单词编号 汉字词
------------------
1 阿
2 啊
3 阿斗
4 阿姨
...
789 服装
....
64000 做作

在一篇新闻中，这 64,000 个词的 TF/IDF 值分别为

单词编号 TF/IDF 值
==============
1 0
2 0.0034
3 0
4 0.00052
5 0
...
789 0.034
...
64000 0.075


如果单词表中的某个次在新闻中没有出现，对应的值为零，那么这 64,000 个数，组成一个64,000维的向量。我们就用这个向量来代表这篇新闻，并成为新闻的特征向量。如果两篇新闻的特征向量相近，则对应的新闻内容相似，它们应当归在一类，反之亦然。

学过向量代数的人都知道，向量实际上是多维空间中有方向的线段。如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角了。

余弦定理对我们每个人都不陌生，它描述了三角形中任何一个夹角和三个边的关系，换句话说，给定三角形的三条边，我们可以用余弦定理求出三角形各个角的角度。假定三角形的三条边为 a, b 和 c，对应的三个角为 A, B 和 C，那么角 A 的余弦 --



如果我们将三角形的两边 b 和 c 看成是两个向量，那么上述公式等价于



其中分母表示两个向量 b 和 c 的长度，分子表示两个向量的内积。举一个具体的例子，假如新闻 X 和新闻 Y 对应向量分别是
x1,x2,...,x64000 和
y1,y2,...,y64000,
那么它们夹角的余弦等于，



当两条新闻向量夹角的余弦等于一时，这两条新闻完全重复（用这个办法可以删除重复的网页）；当夹角的余弦接近于一时，两条新闻相似，从而可以归成一类；夹角的余弦越小，两条新闻越不相关。



我们在中学学习余弦定理时，恐怕很难想象它可以用来对新闻进行分类。在这里，我们再一次看到数学工具的用途。

Google CEO:我们平均每星期完成1至2次收购(转)

    Google很多产品或服务都是通过收购得来的，广为人知的有Writely、 Google Earth、 Google Analytics、SketchUp等等。不过事实上Google还有很多低调的收购活动，并且根据Google CEO Eric Schmidt所透露的信息，Google乐于通过小型的收购来获得开发人员，而并不是单纯通过公开招聘的形式为企业补充人才。

　 　Eric Schmidt上周五在回答媒体提问时，透露了一些有趣的事实。比如当记者问他Google进行了多少次收购时，这位Google CEO的回答令不少人震惊：Google平均每星期都会完成1至2个收购。当然，Google比较喜欢收购一些小型的公司，这些公司都具有相同的特征：默 默无名、刚刚起步、规模细小以及员工总数只有1至3名。Google比较喜欢通过这样的小型收购来获得更多的人才。除了上面所提及的那些大型的收购外，我 们现在可以知道其实Google的收购是每个星期都会发生的事，只是绝大部分都没有公开而已。

　 　另外，Eric Schmidt透露这些小公司之所以选择被Google收购，并不是因为Google拥有雄厚的资本。因为现在的VC们都拥有大量的资金，完全不必要为了 获得投资而被Google收购。真正的原因是Google能给这些小公司的成员提供一个完美的平台，让他们实现自己的创业愿望。因为当相关的市场已经形成 并发展成熟的时候，这样的小公司很难依靠自己的单薄力量有大的作为。

　　每星期收购1至2个小公司？真难想像几年下来Google里面到底有多少个大大小小的Co-Founders了。

微软和雅虎IM互通的启示意义(转)

      几年前，由于比尔-盖茨的疏忽，让微软错失了收购Google的最佳机遇，现在，这家软件巨头要为当初的大意"买账"了――时势造英雄，经过短短几年时间 的发展，当初不起眼的Google"摇身一变"成为互联网行业中的一艘巨型"航母"，就连财大气粗的微软也要生活在它的阴影当中，面对这种"痛苦煎熬"， 微软岂能忍气吞声？　　

　　反抗，围堵，狙击……，总之，只要能铲除这颗横亘在眼前的最大"绊脚石"，不管什么样的手法，微软都会乐于尝试的。联手另一大互联网巨头雅虎，实现彼此IM（即使通讯）工具的互联互通，便是微软对付竞争对手Google的策略之一。
　　众所周知，在互联网日益发达的今天，IM工具已经成为人们交流融通的重要选择，不管是与传统的电话、电报、信件相比，还是与电子邮件等新兴通讯工具相 比，IM工具都有着得天独厚的优势，语音聊天、视频聊天、在线传输、多人对话、群聊……，无所不能。毫不夸张地说，几乎所有经常上网的用户都拥有属于自己 的IM空间。美国的一家市场研究机构eMarketer发布的调查数据显示，截至2005年底，全球互联网用户总数已突破10亿大关，其中8.45亿用户 经常上网。面对如此之众的网民规模，对于互联网企业来说，谁能抢占IM先机，便赢得了竞争的主动权。　
　　无一例外，互联网界的三大巨头Google、雅虎和微软都拥有自主品牌的IM工具――Google Talk、雅虎通和MSN Messenger， 它们分别聚集了一大批忠实的"粉丝"。早在去年10月份，微软和雅虎就宣布将实现IM工具的互联互通，由于种种原因，一直拖到今年7月13日才正式成行。 据介绍，双方在IM领域的合作主要包括：实现即时通讯、共享图释、互相增添新的联系人等文本信息的互联互通功能，按照微软和雅虎的计划，未来几个月，合作 范围将扩展至语音、视频服务以及无线等领域。这样一来，双方便联合创建了全球最大的IM社区，用户总数高达3.5亿人。　
　　在笔者看来，微软和雅虎在IM领域的"联姻"绝非一时冲动之举，而是身处当前纷繁芜杂的竞争环境中的必然结果。双方的合作，开启了一个全新的时代，与此同时，也呈现给了我们一些重要的启示意义。　 

　　互联互通，将成为IM工具的发展潮流　　
　　开放，是当今世界的一个主旋律。现实生活中，一系列鲜活生动的事实告诉我们――惟有开放才能发展。因此，IM工具的互联互通也将是一个不可阻挡的时代潮流。　　
　　就在去年微软和雅虎宣布将要实现IM工具互通之后，国内已有包括网易泡泡在内的40余家即时通讯厂商予以响应，而"蓝色巨人"IBM也在今年3月站在 了微软和雅虎的阵营，还有消息声称，半年之内，阿里巴巴的企业IM软件贸易通和针对个人用户的淘宝旺旺也将和雅虎通实现互联互通。　
　　此外，市场调研机构艾瑞咨询针对国内用户的一项调查也清楚地表明，网民对IM工具最不满意的因素就是即时通讯软件之间不能实现互联互通，这一比例占到了47.9%，与此同时，高达71.43%的用户希望不同的即时通讯软件之间能够实现兼容。　
　　笔者相信，上述调查数据不仅说出了中国网民的心声，也表达出了全球网民的共同愿望。可见的未来，各式各样的IM工具在保持自身主体性不变的情况下，必将走向融合之路！　 

　　微软、雅虎扩大结盟战线，联合对抗Google　
　　没有Google的日子里，微软是何等辉煌，在IT王国里一枝独秀，锐利的锋芒无人能挡。如今，为了应对Google这一后起之秀，已经步入中年的微软显得疲惫不堪，除了克服战略转型带来的痛楚，还要面临对手"挖墙脚"的危险。　
　　这样的事情在"盟友"雅虎身上同样表现的淋漓尽致，曾几何时，雅虎在互联网搜索领域内是多么的牛气冲天，但是Google出现之后，雅虎并没有心生"后生可畏"的紧迫感，从此一蹶不振，市场占有率节节败退。　
　　客观地讲，微软和雅虎在很多领域内，也称得上是"水火不容"的竞争对手。但在对抗Google上面，"同病相怜"的它们显然能够站在同一战壕，IM工 具的互联互通，开创了双方共同抵御Google的先河。然而，竞争是多态的，要想彻底打消Google的"嚣张"气焰，仅靠IM领域的合作是远远不够的， 为了实现击垮Google这一共同目标，微软和雅虎势必要拉长战线，进一步扩大合作的范围。　
　　比如在搜索技术方面，在内容资源的共享方面，在客户服务方面，微软和雅虎都可以展开很好的合作。不久前，有传闻声称，微软甚至会不惜血本收购雅虎，以 全方位壮大自己的实力，在互联网领域与Google一较高下。以笔者之见，微软和雅虎就收购事宜进行过私下协商倒有可能，但是如果熟悉双方的背景，了解彼 此的业务，就会知道这件事情一定会"无疾而终"，收购是不可能实现的。　
　　然而，不管结果怎么样，至少给人们传递了这样一个讯息――在Google大行其道的时代，微软和雅虎的合作必将更加紧密。　　 
　　从微软和雅虎IM工具的互通，扯出了上述两大启示意义，无非想告诉大家这样一个道理――在商业竞争中，没有永远的敌人，也没有永远的朋友，只有永远的利益。在利益的驱使下，什么事情都有可能发生。　
　　笔者不禁在想，如果微软和雅虎"齐心协力"把Google真地击垮，接下来，将会上演一出什么样的"大戏"呢？

面对网上罢市风潮 马云的谋局之策(转)

危机公关能力是中国企业急待增强的一种跨国经营能力！一种战略应急能力！

　　危机公关能力更是中国网络企业急待增强的一种跨国经营能力！一种战略应对能力！
　　自2005年春天以来，一家又一家的跨国企业在经历寒冬般危机事件的砥砺：
　　广本、亨氏、宝洁、卡夫、肯德基、强生等名声显赫、有着强大品牌影响力的跨国企业在短时间内陷入一场又一场的危机事件之中，这在中国的市场发展史中可以说是前所未有的。
　　这些危机攻关的鲜活案例尽管就在中国人的眼皮底下，但是并没有引起中国商界的高度重视和警醒。
　　这些危机攻关的鲜活案例尽管被中国的网站广泛转载，但是，危机攻关的概念，危机攻关的意识，危机攻关的韬略，对于沉迷在崛起的拼争中，陶醉在进财的喜悦中的中国的网络群雄来说并没有引起警觉和重视。

　　什么是危机公关？
　　注释说：由于企业的管理不善、同行竞争，遭遇恶意破坏或者是特殊事件的影响，而给企业或品牌带来了危机，企业针对危机所采取的一系列自救行动，包括平息事态，消除影响、恢复形象，就是危机公关。

　　网络也需要危机公关？
　　翻遍中国的网络专著―――根本找不到这个概念。
　　然而，网络经济发展的现实，敲开了中国网人的警醒之门，觉悟之门。迫使中国的网商在现实面前，开辟和寻找着认识真理的道路。
　　历史，就是这样坦诚的把网商危机的考卷呈现在了中国最大的网商马云的面前！
　　现实，就是这样感恩地挑战了中国历届网商大会的东道主！
　　要么坚持推行“招财进宝”；
　　要么取消推行“招财进宝”；
　　在艰难的商誉面前，商家需要在这道二难推理中做出决择！
　　在艰难的度量面前，马云需要在这个艰难选择中交出答卷！
　　“招财进宝”是淘宝网历时半年时间研发出来，并于5月10日新推出的竞价排名服务，是淘宝网为愿意通过付费推广，而获得更多成交的卖家提供的一种增值服务。
　　但是，推出之后却一直遭到了非议和反对。
　　请听一个网友的评议：

　　“从4月25号就收到淘宝的邀请信，参加所谓的5月10号大事件，一直很好奇，也很期待。到底淘宝会给我们一个什么惊喜。
　　终于等到了5月10号，一起床就登陆淘宝查看，没有任何关于大事件的信息。一直到上午10点多，突然发现淘宝多了一个“招财进宝”功能，进入一看，收到淘宝赠送的30个“招财进宝”点数。
　　把所有关于“招财进宝”的介绍看完一遍，终于明白了，原来所谓的“招财进宝”就是付费推荐位。尝试把几个商品加入“招财进宝”后发现在淘宝搜索商品时，所有参加“招财进宝”服务的商品是排在商品列表前面的，而其顺序则是按照卖家自己预先确定的付费金额。
　　这样一来可以想象一个结果，所有愿意付费的商品都排在前面，而且按照淘宝规定，这些商品是没有时间限制的，也就不会自动下架。而不付费的商品将会排在 后面，永远没有出头之日。那么，为了不让自己的宝贝淹没在淘宝铺天盖地的商品中，卖家只有选择“招财进宝”，也就是选择向淘宝付费。
　　而最狠毒的还在后面，为了抢夺排名，大家会不断抬高“招财进宝”价格，这样恶性循环的后果是不可想象的。淘宝将再无公平可言，而只剩下金钱。等了2个星期的“淘宝大事件”居然就是这么一个东西，淘宝，你良心何在？你置卖家买家感受于何处”？
　　“回来再谈前面的自愿原则，事实上只要是想把东西卖出去的人，都不会自愿了，因为首页的浏览量占总浏览量的70%以上，为了把东西卖出去，大家都会去 在自己接受的极限范围内(也就是把利润全部贴给淘宝，但能保本)参与“自愿竞价”。淘宝巧妙地把免费的鸭子赶到了收费的架上”。
　　这一来，众多中小卖家被激怒了。一些网民在淘宝网相继发帖对招财进宝表示质疑。
　　但是，淘宝网初期对危机的认识是浮浅的。甚至是错误的。
　　面对不同意见：
　　网站开始运用手中的管理权：删帖！封店！到5月23日，卖家们发现400多页帖子一夜间被淘宝网删除。
　　这一来，矛盾进一步激化了。
　　“淘宝上有40万店铺，我们不能允许淘宝拿着40万人的利益一意孤行”。
　　据店主联盟的统计，共有39326家店主参加了这次罢市。王先标告诉记者：“罢市的意义已由向淘宝施压变为表达自己不同意见。他们对淘宝这段时间的做 法很不满，比如高压政策删帖子，封杀不同意见的店铺，对媒体发表不负责任的言论，给大家扣帽子，说反招财进宝网站有病毒等等。”
　　这时，马云试图说服网友。于是，“我们的初衷绝对是好的。”5月29日凌晨1时，淘宝论坛上，马云以“风清杨”的名义发表了《谈谈拥抱变化》的帖子。 力图一面对网民诚恳致歉，承认淘宝和卖家的沟通工作存在问题，如删除言词过激的帖子，推出产品时未做好解释工作等。一面又“想以一个创业者的身份和大家交 流一下如何面对变化”。
　　马云说：“在阿里巴巴公司的文化里有一条非常重要的价值观:拥抱变化!我们认为，除了我们的梦想之外，唯一不变的是变化!!这是个高速变化的世界，我们的产业在变，我们的环境在变，我们自己在变，我们的对手也在变……我们周围的一切全在变化之中!
　　面对各种无法控制的变化，真正的创业者必须懂得用乐观和主动的心态去拥抱变化!当然变化往往是痛苦的，但机会却往往在适应变化的痛苦中获得!
　　但是，被激怒了的网民已经听不进去马云的说服和有关应对变化的规劝。
　　不仅在淘宝社区的“建议厅”里、就“招财进宝”这一服务方式的争议上，反对和建议修改的声音绝对的占据了主流。而且参加网上罢市的力量在凝聚，数量在倍增。民意在伸张。
　　其最有代表性的帖子是《山谷里的野百合也要有春天》。这个帖子指出：淘宝的招财进宝“这种制度只是冰山的一角，它背后所代表的是淘宝的一种思维 一种态度，那就是：厂商、大商家至上！而占淘宝会员百分之九十的专职小卖家和业余卖家则成了被忽略的弱势群体！
　　拳击、举重都要分级别，我们这些豆丁拳手又哪里搏得过泰森？！
　　小卖家的生存空间在哪里呢？
　　可是，山谷里的野百合也要有春天，淘宝，请不要抛弃我们！
　　但是，“鉴于淘宝网前几日删除反对招财进宝的帖子，封杀反对招财进宝的店铺，给支持招财进宝的帖子加精，置顶等主观因素以及在面对广大媒体时所发表的不负责任的言论，我们对在投票中是否公正，公平，公开表示怀疑。
　　因此，发誓将权益维护到底！
　　正是为了取得“野百合也要有春天”的合法地位和合法利益，罢市准备依然照常进行着……
　　一面是豆丁拳手的呼唤；
　　一面是淘宝半年的历练；
　　是淘宝网枉起眼眉继续“淘宝”？
　　还是兑现诺言确保中小卖家“淘宝”？
　　空气在燃烧意志；
　　历史在催促抉择。
　　时间已经把闸门关死；
　　期限已经被网友限定。
　　得利的渔翁在推波逐浪；
　　竞争的对手在猛扔干材。
　　隔洋观火的腾讯公司不仅打出了“将免费进行到底”的旗号，而且公开表示，“中国的电子商务市场还在发展之中，网民的交易习惯还需不断培养，尚不具备收费的成熟环境”。“应以降低用户门槛、普及电子商务和培育市场为首要任务”。
　　因此，在招财进宝推出不久，拍拍网就高调宣布：C2C市场格局改变，拍拍成为国内最大免费平台。同时迅速制定了一整套“旱地拣鱼”的竞争方案：
　　可以直接将淘宝的信用度导入拍拍网中；在其首页显著位置设置了“淘宝店主搬家签到处”，而且打出了“搬家就送推荐位，开张就送大红包”的诱惑性承诺。
　　从竞争战略讲，此时的淘宝已经处在“腹背受敌”的状态。
　　一面是卖家反对招财进宝的进击；
　　一面是竞争对手开门迎客的诱惑。
　　兵法讲究“以正合，以奇胜”。 一个风险经营能力强的企业，能够借助沟通的力量，全面、系统地把握面临的问题，用最短的时间、花最低的成本来消除危机。
　　然而，事件初期的沟通不利，又使淘宝网丢掉了“花最低的成本来消除危机”的机遇。
　　如同在股市上一样，低谷状态会产生最大的淘汰效应。
　　事情的发展已经把淘宝推倒了风口浪尖。
　　惊涛拍案：在考量着一个电子商务网站的风险控制能力；
　　危机处理：在进行着一个网络企业决策层风险应对能力的考评。
　　正如著名管理学家迈克尔·里杰斯特在《危机公关》中所指出的：当企业面对出现的危机和灾难时，应考虑到最坏的可能，以最快的速度了解组织的公众，倾听 他们的意见，并确保组织能把握公众的抱怨情绪，设法使受到危机影响的公众站到组织的一边。惟有用真诚的态度和务实的行动打动他人，方能得到公众的支持。

　　淘宝正是这样做了。
　　马云正是这样做了。
　　决策：面对的是中国网络经济发展进程中突发的事件；
　　决策：面对的是情丝缠绕中很难刀斩乱麻的利益得失；
　　然而，在这样重要的时刻，淘宝放弃了半年的心血；
　　马云却历练了商道的成熟！作出了一个超乎人们意料之外的决定。
　　这一决定：
　　正在：把招财进宝去留的决策权交给了网民进行“公决”；
　　奇在：这个决策，进有招商客店，退有落脚村庄。
　　6月12日中午，在12.78万票赞成取消、8.13万票赞成保留的网民公开投票下，淘宝网“招财进宝”问世仅一个月的竞价排名服务悄然下线。
　　淘宝网公告称，“招财进宝”推出期间所产生的所有服务费将在6月21日24时之前，全额退回至卖家的支付宝账户。淘宝网还表示会继续不断地进行创新，一如既往地尊重淘宝会员意见，为广大会员提供优质服务。
　　“招财进宝”应网民的要求收回收费的决定，得到用户的支持与拥护，“在招财进宝的诞生到投票决定去留期间，所有店小二都因为淘宝人的包容和理解而感 动，因为淘宝人耐心和中肯的建议而感动”，反对招财进宝的人也发布公开信回应:“我们对淘宝网负责的态度表示认可，对淘宝网重视广大店主的意见表示欣 慰”。
　　危机化解了。
　　应该说：危机是危险，更是机遇。是考验更是锻造。是历练更是展示！
　　不仅展示了中国网商人格的魅力；风险经营的能力；
　　更锻造了淘宝品牌的含金量，展现了阿里团队战略的闪光点。
　　这次危机化解不仅将成为中国电子商务发展进程中浓墨重彩的一笔。
　　而且为网络经济发展进程中的危机攻关，积累了经验。
　　必将成为中国网商战略崛起的标志！